텍스트 요약, 활용 목적에 따라 유형별로 분류해보기

텍스트 분석에서 요약은 어렵고도 중요한 문제 중의 하나다. 숫자로 된 데이터는 평균, 중앙값, 최빈값, 표준편차, 4분위수 등 다양한 방법을 통해 전체적인 경향을 파악할 수 있는 반면, 다양한 의미를 담은 문서와 문장들의 내용을 단시간에 파악할 수 있도록 압축하기가 난해하기 때문이다.

얼마 전, 토픽 모델링을 통한 문서 요약 서비스를 기획하는 회의에 참석할 일이 있었다. 그런데 의논을 하다 보니, 요약에도 여러 종류가 있는데 각자 서로 다른 생각을 하면서 논의가 진척되지 않는다는 느낌이 들었다. 구매리뷰로부터 일부를 추출하는 것도 요약, 방대한 양의 리뷰들을 다 읽기 어려우니 간추려주는 것도 요약이라고 지칭하고 있었기 때문이다. 이에 기술적인 방법은 둘째치고, 요약의 대상이 되는 텍스트/문서의 유형별로 적합한 요약 방식 자체를 살펴보고 관점을 정리해봐야겠다는 생각이 들었다.

우선은 유형을 분류하고 현재 상용화되었거나 서비스 초기에 있는 사례들을 찾아보았다.

접근 관점

• 요약 대상
  • 단일한 문서(ex. 뉴스 기사)
  • 다수 개의 문서(ex. 뉴스 기사들, 구매 리뷰들)
• 요약 방식
  • 원문에서 일부를 추출하는 요약
  • 추출한 내용을 merge해 새로운 텍스트를 생성하는 요약

1. 단일 문서 / 추출 요약

뉴스 기사

단일한 뉴스에서 일부를 추출해 요약문을 생성하는 방법은 가장 접근하기 쉽고 많은 시도가 이루어지는 것으로 보인다. 문서 자체가 잘 구조화되어 있기 때문이다. 요즘은 매일매일 워낙 방대한 정보가 쏟아지고 있으므로 사용자들이 간편하게 정보를 파악할 수 있게 해준다는 의의도 물론 있다. 그렇다면 뉴스 요약문의 기능은 본문을 자세히 읽지 않더라도 핵심 정보를 빠르게 파악할 수 있도록 해주는 것이 되겠다.

[관련 사례] ‘텍스트 요약’으로 구글링했을 때 상위권에서 줌인터넷 & 연합뉴스의 <AI 기반 뉴스 3줄 요약 서비스 개발기>를 발견할 수 있었다.

하지만 연합뉴스 사이트에 가서 몇몇 기사를 눌러본 결과, 뉴스의 특성상 제목을 많이 참조하도록 되어 있어 전체적인 핵심보다는 일부 내용에만 경도되는 경향도 보인다.

예를 들어 <국내 금융시장 또 ‘검은 월요일’…증시 연저점·환율 연고점(종합)>같이 객관적인 제목의 기사는 3줄 요약도 전체 내용을 고르게 포함했다. 하지만 <’사교육 금지’로 망한 中 최대 학원, 라이브커머스 ‘벼락 인기’>와 같은 스토리성 기사는 앞쪽 문장 위주로 추출해 전체 스토리를 잘 요약하지 못하고 있다. 경제면 기사이기는 하지만 기업의 스토리를 담고 있는데, 기승전결이 잘 담기지 못하고 있다.

[개인적인 의견]

• 뉴스 요약의 경우 문장을 기계적으로 추출하기 보다는, 각 문장을 5W1H 등 기사 내에서의 역할로 분류하는 과정이 먼저 적용되어야 하지 않을까 싶다.
• 기사를 요약한다면 가장 중요한 내용은 아래 덩어리라고 생각한다.
  • (1) what/who/when/where : 어떤 일이 벌어졌다.
  • (2) why : 이유는 이러하다.
  • (3) how : 보다 상세한 상황은 이렇게 전개되었다.
  • (4) what if : 앞으로 이러이러하게 될 것으로 전망된다.
    

2. 단일 문서 / 생성 요약

뉴스기사 요약에서도 생성요약은 활용되는 것으로 보이지만, 조금 결이 다른 분야를 나눠서 살펴보고 싶었다.

이야기/책

스토리가 있는 소설 등의 줄거리를 요약하는 경우다. 이 경우의 목적은 무엇일까? 솔직히 잘 모르겠다. 아직은 사람이 요약하는 게 더 고퀄리티의 만족스런 결과를 낼 수 있고, 이 분야에서는 그게 더 중요하다고 생각되기 때문이다.
다만 예전에 한창 만화책을 보던 시절에, 매권 앞부분에 있는 지난 줄거리 요약 부분이 인상깊었던 기억이 난다. 만화책 권수가 뒤로 갈수록 이야기는 방대해지는데, 그 방대한 이야기를 또 기가 막히게 요약하는 게 대단해 보이고 흥미로웠다.

[관련 사례]

• <오픈AI, 수천 페이지 책 한번에 요약하는 AI 모델 개발… 상용화는 글쎄?>
• 소설을 요약했는데 맥락을 이해하지 못해 한계가 있다고 한다.

[개인적인 의견]

• 과연 이야기를 요약하는 것은 어떤 의미가 있을까?
  • 스토리/줄거리를 요약하는 게 상용화됐을 때 어떤 가치를 줄 수 있을까?
  • 여가를 위한 소설이나 에세이를 굳이 요약하는 건 큰 의미가 없어 보인다. 읽는데 들이는 시간과 그 과정에서의 즐거움 자체가 목적이기 때문이다.
• 경제경영서는 상대적으로 수요가 더 클 것 같다.
  • 내용이 잘 구조화되어 있기 때문에 요약하기 더 용이할 수 있다.
  • 그런데 이 경우 스토리라기 보다는 메시지/근거 요약에 가깝다.
  • 한 인물이 살아온 과정을 단시간에 파악하고 싶다면 유용할 수도 있겠다. 제프 베조스의 일생, 마윈의 인생역정 같은 내용이 될 듯.
    

3. 복수 문서 / 추출 요약

여러 개의 문서를 요약하는 것이다. 사람이 다 읽을 수 없을 만큼 데이터량이 많은 경우에 필요하다. 여러 문서들이 비교적 동질한 내용을 담은 경우와, 서로 다른 내용을 담은 경우로 구분할 수 있을 것이다.

1) 다양한 내용들을 담은 경우

쇼핑몰 리뷰 요약

구매리뷰가 대표적인 분야다. 하나의 상품에 대해 고객들은 다양한 의견과 사용경험을 리뷰로 작성한다. 또한 이를 읽는 사용자도 많은 내용 중에서 궁금한 내용을 간편하게 확인하고 싶다는 니즈가 명확한 편이다.

• 긍정적 평가 / 부정적 평가
• 제품의 다양한 속성에 대한 언급 (디자인, 성능, 편의성, 유지관리 등)
• 제품 외 요소에 대한 언급 (문의응대, 배송, 설치과정, 서비스 등)

[관련 사례] 국내에서는 네이버 쇼핑몰 리뷰 요약이 최근에 적용된 대표적인 사례인 것 같다.

• 네이버, ‘긴 쇼핑 리뷰 한 줄로’… ‘Ai리뷰 요약’ 선봬
• AI 모델 HyperCLOVER를 기반한 네이버 쇼핑 상품리뷰 요약
• ‘하나의 대표 리뷰를 보여주는 것이 아닌, 전반적인 의견을 분류 및 종합하여’ 보여주는 것이 이전과의 차이라고 한다.

[개인적인 의견]

• 구매리뷰를 읽는 방식은 사람마다 다를 것이다. 그에 따라 네이버 방식에 대한 만족도도 다를 수 있다.
• 나같은 경우는 성의없는 후기, 판매자 작업에 의한 가짜후기가 많다고 생각하기 때문에 1-2점 후기만 추려서 먼저 보는 편이다. 또 디테일한 내용을 언급한 리뷰를 신뢰하는 편이다. 그렇기 때문에 긍정/부정을 나누지 않고 전체를 요약해서 보여주는 네이버 리뷰 요약은 너무 일반적인 얘기, 뻔한들만 보여져서 큰 임팩트가 없게 느껴졌다.
• 하지만 이는 개인적 성향이고, 이를테면 요새 조금씩 화두가 되고 있는 A세대 (45-65세 중년 세대)에게는 큼직한 글씨로 보여지는 요약 서비스가 편의성을 크게 높여주는 요소가 될 수도 있을 것으로 보인다.
  

2) 비교적 동질하지만 조금씩 다른 내용을 담은 경우

언론사별 뉴스 기사

여러 활용분야가 있을 수 있겠지만, 내가 생각해본 것은 한 가지 사안에 대해 다수 언론사로부터 뉴스가 생성되는 경우 이를 요약하는 것이다. 잠시 구글링해본 것으로는 사례를 찾아내지 못했지만, 관련된 시도들이 분명히 많이 있었을 거라고 생각한다.
앞으로의 시대에 중요하게 여겨지는 핵심역량인 4C 중 비판적 사고력(Critical Thinking)을 기르려면 한 가지 사안에 대한 상반되는 의견을 접해보고 균형잡힌 시각을 갖는 것이 필요하다. 그래서 이 분야에 텍스트 요약이 적용되면 좋을 것 같다.
AI를 통한 요약은 아니지만 이상적이라고 생각되는 케이스는 최근 리멤버에서 제공하는 프리미엄 컨텐츠다. 논란의 여지가 있는 사안의 경우 A 의견, 그에 반대되는 B 의견, 보다 전체적인 시각에서 바라보는 C 의견 등으로 구성하고 있어서, 그 배치에 감탄하며 읽을 때가 많다. 단순한 사건사고 사실의 요약보다는, 그에 대한 다양한 의견의 요약이 더 유용하지는 않을까? 물론 수요로는 단순 요약이 더 볼륨이 크겠지만 말이다.

마무리하며

요약은 굉장히 어려운 분야인 것 같다. 최근 문해력이 화두가 되고 있지만 ‘문해력’이나 ‘글쓰기 능력’은 사람마다 천차만별이고 이를 척도화하기도 어렵기 때문이다.

이번 조사를 하면서 좋은 글들을 몇 개 발견했다. 그 중 아래 글은 다시금 정독해볼 필요가 있어 보인다.

• 노컷뉴스의 기사 ‘핵심요약’, AI의 대체 가능성은?

“최숙기의 논문에서도 드러나듯, 전문성을 갖춘 평가 교사들에게 평가 항목을 제시했음에도 좋은 요약문을 평가하는 데 오차 범위가 제법 있었습니다.”

‘좋은 요약문’의 정의를 문자로 지정했음에도 불구하고 사람마다 생각이 달랐다는 것이다.
요약 모델을 만들고 평가하는 과정에서는 “문해력과 글쓰기 능력을 갖춘 이들이 작성한 ‘좋은 요약문’ 데이터 및 이를 판단하는 기준”이 필수적이지 않을까 싶다.
만약 법률문서의 요약 모델을 만든다면 적어도 법률 지식이 있는 사람을 모아서 학습셋을 만들 것이다. 하지만 뉴스 기사나 스토리 요약에는 일반인을 모집해서 학습셋을 만드는 것 같은데 이들의 문해력을 측정하고 비교하는 적절한 도구가 있는지, 적절히 활용되고 있는지 궁금해진다.