논문 리뷰) From Sparse to Dense_GPT-4 Summarization with Chain of Density Prompting

'From Sparse to Dense_GPT-4 Summarization with Chain of Density Prompting'은

Chain of Density 방법으로 요약을 수행하는 것을 제안한 논문이다.

내용이 매우 짧고 간결하지만, 실용적이다.

 

논문에서는 좋은 요약이란 무엇인지

아래와 같은 전제 조건을 달고, Chain of Density 방법을 제안한다.

 

(전제) 좋은 요약은 정보의 '밀도'가 높고, 자세하면서도 'Entity' 중심이어야한다.
(제안) 'Chain of Density' 프롬프트를 사용하여, 점점 더 Entity의 density(밀도)가 높아지도록 요약을 요청함. 

 

 

그렇다면, Chain of Density (이하 CoD)는 어떻게 수행되는 것일까?

 

1. 먼저 LLM(ChatGPT4)에게 원 글에 대해 Summary를 생성하도록 요청한다.
2. Summary를 생성한 요약문에서 'Missing Entity'를 찾도록 요청한다.  
3. 이전 Summary에 Missing Entity를 추가하여 다시 Summary를 생성하게 하되,

    길이는 유지하여 Summary의 entity-density를 높인다.
4. 위의 2번과 3번 과정을 약 5회 반복한다.

CoD Prompt 예시

 

여기서, Missing Entity는 다음과 같의 정의를 갖는다.

 

- Relevant : to the main story  (핵심 주제 내용과 관련되어있는가?)

- Specific : descriptive yet concise (상세 내용까지 포함하는가?)

- Novel : no in the previous summary (이전 요약에서 놓친 내용이 있는가?)

- Faithful : present in th Article (내용에 왜곡이 없는가?)

- Anywhere : located anywhere in the Article (어디서든 등장하는 단어인가?)

 

 

이렇게 이전의 Summary에 대해 Missing Entities를 정의하고,
다음 요약 때 해당 Missing Entities를 추가하여 요약하는 과정을 연속해서 수행함으로써 

밀도 높은 요약문을 얻는 것이 제안된 방법의 목적이다.

CoD를 통해 수행된 요약문의 특성 : Entity의 밀도가 높음

 

 

 

논문 실험결과(Figure 1), CoD를 쓸때
2번까지는 사람의 요약에 못미치고
3번째부터 사람의 요약 수준을 따라잡을수 있었다고 한다.

Entity Density가 Human-written에 가까워질수록, 더 Preferable해지며, 
Clarity와 Informativeness 사이에서 균형을 잡게된다고 밝혔다.

CoD Step에 따른 Entity Density의 증가와 만족도 개선

 

 

심플하지만, 굉장히 효과적인 요약문 생성 방식으로 보인다.