인간 압승으로 싱겁게 끝난 번역 대결..구글·네이버 등 AI, 사람 발끝도 못 따라가

노자운 기자 입력 2017.02.21 18:35 수정 2017.02.21 18:59

‘번역계의 알파고 대(對) 이세돌의 대결’이라며 주목 받은 인공지능(AI)와 인간 번역사 간 대결은 인간의 압승으로 싱겁게 끝났다. 구글·네이버·시스트란 등 3개 업체의 AI 번역기와 전문 번역사가 한국어→영어 번역 과제 2개와 영어→한국어 번역 문제 2개를 푼 결과, 전문 번역사가 압도적으로 높은 점수를 얻었다. 앞서 조선비즈가 실시한 온라인 설문조사에서는 응답자들이 50대 50대으로 기계와 인간이 팽팽한 경쟁을 벌일 것으로 예측한 바 있다.

이날 번역 대결에 참석한 업계 전문가들은 AI 번역기가 인간 번역사를 따라잡으려면 오랜 시간이 걸릴 것이라고 전망했다. 또 AI 번역기의 역할은 인간 번역사를 대체하는 것이 아니라 방대한 양의 콘텐츠를 빠르게 번역하며 사람을 보조하는데 그친다고 평가했다.

◆ 인간 49점, AI는 28점 이하…“비교할 수준 안 돼”

국제통번역협회와 세종대학교·세종사이버대학교는 21일 오후 서울 군자동에 위치한 세종대 광개토관에서 ‘인간 VS 인공지능 번역 대결’을 개최했다.

이번 대결에 참여한 번역사 4명은 오후 1시부터 2시까지 한시간 동안 주어진 지문을 번역했다. 이들은 평균 5년의 경력을 지녔으며, 남성 3명과 여성 1명으로 구성됐다. 주최측에서는 AI 번역기들이 빅데이터를 기계 학습(딥러닝)해 사전 지식을 갖고 있다는 점을 감안해, 번역사들에게 지문에 대한 정보를 먼저 인터넷으로 검색할 수 있도록 허용했다. 단, 번역용 지문은 여태까지 단 한 번도 번역된 적이 없는 것으로 골랐다.

번역용 지문은 한글로 된 문학·비문학, 영어로 된 문학·비문학 등 총 4개로 구성됐다. 한→영 번역용 문학은 강경애 작가의 소설 ‘어머니와 딸’에서, 한→영 번역용 비문학은 한국일보에 연재 중인 ‘김서령의 길 위의 이야기’ 중 ‘셀프빨래방’에서 각각 발췌했다. 영→한 번역용 문학은 미국 작가 토마스 프리드먼(Thomas L. Friedman)이 쓴 ‘Thank You For Being Late’ 중에서 발췌했으며, 영→한 번역용 비문학은 폭스비즈니스(Fox Business)뉴스에서 추려냈다.

이날 심사위원장을 맡은 곽중철(사진) 한국외대 통번역대학원 교수는 약 2시간에 걸쳐 번역 결과물을 살펴보고 정확성과 어법, 맥락과 함축적 의미를 이해했는지 여부를 기준으로 점수를 매겼다. 그 결과, 전문 번역사들은 총점 60점 만점에 49점을 얻었다. 반면 AI 번역기들은 각각 28점, 17점, 15점의 낮은 점수를 얻었다.

주최측에서는 번역기별 점수를 공개하지 않겠다고 밝혔다. 다만 곽 교수는 “빅데이터를 가장 많이 갖고 있는 것으로 알려진 번역기가 그나마 양호한 문맥 파악 능력을 나타냈으며, 제일 높은 점수를 얻었다”고 말했다. 구글 번역기의 점수가 28점으로 가장 높았다는 사실을 암시한 것이다.

심사위원들은 최고점을 획득한 AI 번역기에 대해 “주어의 성별을 구별하지 못하고 단어의 정확한 의미나 문맥을 파악하는 능력은 다소 떨어지나, 고유명사를 인식하고 복문을 처리하는데 있어 상대적으로 양호한 능력을 보였다”고 평가했다.

나머지 두개 번역기에 대한 평가는 엇비슷했다. 심사위원들은 두 개 번역기에 대해 “약 90%의 문장이 어법에 안 맞으며, 앞뒤 맥락을 파악하지 않은 채 단순 번역을 하는 경우가 많다”고 평가했다. 원문의 단어를 한글 독음 그대로 풀어 쓰고 단어의 수식 대상을 혼동한다는 평가도 나왔다.

◆ AI, 문학 번역 성적 처참...‘기웃기웃하여→giutkkiutaye?’

곽 교수는 인간 번역사와 AI 번역기들의 능력 차이가 비문학보다도 문학에서 두드러지게 나타난다고 말했다.

그는 “AI 번역기들은 문학 지문을 번역할 경우 제대로 된 문장을 만들지 못하고 어쩔 줄 모르는 경우가 많았다”며 “문학 번역에 있어서는 AI가 인간을 따라가려면 한참 멀었다”고 말했다.

문학 ‘어머니와 딸’에는 다음과 같은 문장이 등장한다.

“그는 사면으로 기웃기웃하여 호미를 찾아들고 울바자 뒤로 돌아가며 기적거린 후 박, 호박, 강냉이 씨를 심는다.”

AI에는 다소 생경한 문학적 어휘가 많이 포함된데다 원문에서 느낄 수 있는 문학적인 ‘맛’을 그대로 살려서 번역해야 하는 만큼, AI 번역기에는 상당히 난이도 높은 과제였을 것이다.

구글 번역기는 이를 “He snooped around the pilgrimage to find hommi, and after a miracle he went back to the back of the umbrella and planted pak, amber, and corn”이라고 번역했다. ‘호미’를 독음 그대로 ‘hommi’로, ‘박’을 ‘pak’으로 풀어 썼다. ‘기적거린다’는 단어는 번역어를 찾지 못해 ‘miracle’로 번역하는 우를 범했다.

네이버 파파고는 “He visited giutkkiutayeo, and then returned to the harbor to collect ulbaja and pumpkin seeds and pumpkin seeds”라는 번역 결과를 내놓았다. ‘기웃기웃하다’는 단어도 번역하지 못해 독음 그대로 ‘giutkkiutayeo’라고 쓰는 웃지 못할 결과물을 내놓았고, ‘박’과 ‘호박’을 모두 ‘pumpkin’으로 번역했다.

시스트란의 번역 결과도 별반 다를 게 없었다. “He laughs with amnesty, finds Homy and returns to the backside of Ulbaja”라고 번역했다. ‘사면(四面)’이라는 단어를 죄를 용서한다는 뜻의 ‘사면(赦免)’으로 잘못 이해해 ‘amnesty’로 번역하는가 하면, ‘울바자’ 뒤로는 아예 번역하지 못하고 포기해버렸다.

◆ 비문학 그나마 양호...복문 번역·의역은 미해결 과제

주최측은 AI 번역기들이 신문 기사 등 비문학 번역에 있어서는 그나마 양호한 점수를 얻었다고 평가했지만, 사람의 번역문에 비해서는 정확도가 크게 떨어졌다.

“Lego recently took back its crown from Google as the world’s “most powerful brand,” according to Brand Finance’s 2017 yearly Global 500 rankings report”라는 문장을 인간과 기계는 각각 다음과 같이 번역했다.

먼저 전문 번역사는 이를 “브랜드파이낸스는 2017년 세계 500대 기업 브랜드 가치평가를 발표하고, 장난감 블록 제조업체인 레고가 구글을 제치고 세계에서 가장 영향력 있는 브랜드에 다시 등극했다고 밝혔다”고 번역했다. 하나의 문장 안에 다른 문장이 들어가는 복문 구조임에도 어법에 맞도록 매끄럽게 번역해냈다. ‘take back crown’이라는 표현을 의역한 것도, ‘according to~’를 ‘~에 따르면’으로 직역하지 않고 주어로 빼서 자연스럽게 번역한 것도 인상적이다.

구글은 이를 “레고는 최근 브랜드금융의 2017 년 글로벌 500 순위 보고서에 따르면 세계에서 가장 강력한 브랜드인 구글의 크라운을 되찾았다”로 번역했다. 어순이 자연스럽지 못하며, ‘구글의 크라운을 되찾았다’는 표현은 의역을 하지 못해 다소 어색하다.

네이버 파파고는 아예 오역을 했다. 파파고는 이 문장을 “브랜드 파이낸스의 2017년 세계 500위권에 올라 있는 세계 최대의 브랜드인 구글은 최근 구글에서 세계에서 가장 강력한 브랜드로 왕관을 반환했다”로 번역했다. 무슨 뜻인지 이해하기 어려울 뿐더러 원문의 뜻과 전혀 다른 오역문이 나왔다.

시스트란도 오역을 했다. “브랜드 파이낸치어스의 2017 년 연간 세계 500개 순위 보고서에 따르면, 레고는 최근 구글으로부터 자사의 왕관을 ‘가장 강력한 브랜드’ 로 가져갔다”는 문장은 어순을 제대로 이해하지 못해 나온 오역문이다.

이날 번역 대결에 참석한 김유석 시스트란 상무는 “알파고가 이세돌 9단과 대국을 하기 위해 방대한 양의 기보 데이터를 학습했듯, 현재 AI 번역기가 당면한 가장 큰 과제는 충분한 데이터를 학습하는 일”이라며 “이 과제가 해결돼야만 AI 번역기와 인간의 진정한 협업이 가능해질 것”이라고 말했다.

[이 기사 주소] http://v.media.daum.net/v/20170221183542221