STT와 화자 분리는 왜 다를까: 통화 요약이 반대로 적히는 이유

대상 독자 AI 통화요약 앱을 처음 고르는 분 · 영업팀 관리자

STT는 소리를 받아적는 기술이고, 화자 분리는 그 소리를 낸 사람을 찾아내는 기술입니다. 두 기술 중 하나라도 어긋나면 AI 통화요약은 고객의 무리한 요구를 상담원의 확약으로 뒤바꾸어 적어 놓습니다.

많은 사람이 통화 요약 결과를 보고 단어가 틀렸다며 AI 받아쓰기 성능만 탓하곤 합니다. 하지만 통화가 끝난 뒤 업무가 엉키는 진짜 이유는 글자가 틀려서가 아닙니다. 말한 사람의 이름표가 뒤바뀌었기 때문입니다.

40초짜리 부동산 통화 한 건이 변환되는 과정

실제 원룸 임대차 조건 조율 통화를 가상으로 구성해 보았습니다. 보증금과 월세를 두고 공인중개사와 손님이 나눈 짧은 대화입니다.

공인중개사: 네, 행복부동산입니다.
고객: 안녕하세요, 어제 본 302호 보증금 5천에 월세 60만 원으로 조율 가능한가요?
공인중개사: 임대인이 70만 원을 고수하셔서 60만 원은 어렵고, 65만 원까지는 말씀드려 보겠습니다.
고객: 65만 원은 예산 초과인데요. 62만 원은 안 될까요?
공인중개사: 그 금액은 임대인께 전달하기 어렵습니다. 최소 65만 원은 생각하셔야 합니다.
고객: 알겠습니다. 그럼 65만 원으로 진행 부탁드립니다. 계약서는 언제 쓸까요?
공인중개사: 내일 오후 2시에 사무실로 오시면 됩니다.

이 전화가 끝나면 스마트폰 속 녹음 파일은 요약문으로 바뀌기 위해 순차적인 처리 과정을 밟습니다.

첫 번째는 녹음 파일 확보입니다. 통화가 종료되면 스마트폰 음성 칩셋을 거친 소리가 단일 오디오 파일로 저장됩니다.

두 번째는 STT(Speech-to-Text)입니다. 소리 파형을 음절 단위로 쪼개어 문장으로 바꿉니다. 이 단계가 끝나면 따옴표나 화자 이름 없이 텍스트 덩어리 하나만 남습니다. "네 행복부동산입니다 안녕하세요 어제 본 302호 보증금 5천에 월세 60만 원으로 조율 가능한가요 임대인이..."처럼 누가 한 말인지 표시 없이 이어지는 줄글입니다.

세 번째가 화자 분리(Speaker Diarization)입니다. AI는 통화 음성을 0.5초~1초 단위로 쪼개어 목소리의 고유 파형을 추출합니다. 두 사람의 음높이와 말투 같은 특징을 비교해 목소리를 나누고, 앞서 STT로 적어 둔 문장마다 발화자 레이블을 붙입니다.

마지막은 요약입니다. 거대언어모델(LLM)이 발화자 레이블이 붙은 대본을 읽고, 고객의 요청과 중개사의 확답을 분류해 결과 카드를 만듭니다.

모모콜 같은 전화 업무 앱은 통화가 끝난 뒤 고객과의 대화 요약, 메모, 할 일, 일정을 자동으로 정리해 줍니다.

화자 분리가 틀렸을 때 벌어지는 일

STT가 한 글자도 틀리지 않고 받아적었다고 가정해 봅니다. 하지만 화자 분리 모듈이 고객의 반문 구간을 중개사의 말로 잘못 묶어 버렸습니다.

AI 요약 엔진은 다음과 같은 대본을 넘겨받게 됩니다.

공인중개사: 65만 원까지는 말씀드려 보겠습니다. 65만 원은 예산 초과인데요, 62만 원은 안 될까요?
고객: 최소 65만 원은 생각하셔야 합니다.
공인중개사: 그럼 65만 원으로 진행 부탁드립니다.
고객: 내일 오후 2시에 사무실로 오시면 됩니다.

이 어긋난 대본을 바탕으로 LLM이 요약문을 생성하면 어떤 결과가 나올까요?

• 고객 요구 사항: 월세 65만 원 고수, 내일 오후 2시 방문 요청
• 중개사 안내 사항: 62만 원으로 가격 인하 제안, 65만 원 계약 진행 요청

중개사가 임대인 동의도 없이 월세를 깎아 주겠다고 먼저 제안한 모양새가 됩니다. 손님은 원칙을 지키는 깐깐한 임대인처럼 기록되었습니다. 단어 인식률이 아무리 높아도 발화의 주인이 뒤집히면 요약은 전혀 다른 허위 사실을 전달합니다.

화자가 바르게 묶였을 때의 정상 요약은 명확합니다.

• 조율 조건: 보증금 5,000만 원 / 월세 65만 원(중개사 협의선 제시 후 고객 수락)
• 다음 일정: 내일 14:00 계약서 작성 방문

두 결과의 차이는 받아쓰기 실력이 아니라 누가 그 말을 뱉었는지를 가려내는 알고리즘에서 갈립니다.

두 기술의 역할 비교

STT와 화자 분리는 입력받는 정보도, 사용하는 기술 모델도 전혀 다릅니다.

요약 AI는 STT가 적어 준 문장과 화자 분리가 달아 준 이름표를 결합한 뒤에야 비로소 계약의 흐름을 읽어냅니다.

화자 분리 정확도를 떨어뜨리는 3가지 조건

스마트폰 통화 녹음 환경은 녹음실처럼 깨끗하지 않습니다. 다음 세 가지 조건에서는 화자 분리 알고리즘의 오분류율이 눈에 띄게 높아집니다.

• 말소리 겹침: 상대방의 말이 끝나기 전에 추임새를 넣거나 동시에 말을 시작하면 파형이 엉킵니다. AI는 겹친 구간을 한 사람의 목소리로 뭉개거나 제3의 목소리로 판별합니다.
• 주변 배경 소음: 커피머신 소리, 도로 주행음, 사무실 옆자리 대화는 사람 음성과 주파수가 비슷합니다. AI가 소음을 통화 상대방의 말소리로 착각하여 엉뚱한 화자 태그를 만듭니다.
• 스피커폰 하울링: 스피커로 나온 상대 목소리가 마이크로 다시 들어가면 미세한 잔향이 생깁니다. 마이크 앞 화자의 목소리와 스피커에서 흘러나온 목소리가 섞여 발화 주체를 가르지 못합니다.

안정적인 통화 정리를 원한다면 스피커폰보다는 수화기를 귀에 대거나 마이크가 입 가까이 있는 이어폰을 쓰는 편이 안전합니다.

자주 묻는 질문

STT가 단어를 다 맞혀도 요약이 틀릴 수 있나요?

그렇습니다. STT는 발음을 글자로 옮길 뿐 누가 말했는지 판단하지 않습니다. 질문과 답변의 주인이 섞이면 AI는 고객의 무리한 가격 요구를 담당자가 승낙한 약속으로 오인하여 요약문을 작성합니다.

화자 분리는 어떤 방식으로 사람을 구별하나요?

목소리의 주파수 대역, 성대 울림, 발화 속도 같은 고유한 음향 특징을 분석합니다. 이를 수치화한 뒤 통화 구간별로 목소리 주인을 묶어 내는 방식으로 작동합니다.

통화 도중 화자 분리가 빗나가는 주된 원인은 무엇인가요?

두 사람의 말이 겹치는 순간, 주변 소음이 음성 주파수를 침범할 때, 스피커폰의 울림으로 목소리가 마이크에 중복 유입될 때 구별 능력이 떨어집니다.