gemini api chat session, summarization

 

chat session : 채팅 세션 :  컨테스트를 기역하게 하는 방식.

챗봇, 상담에이전트.

https://wikidocs.net/228933

https://wikidocs.net/232692

 

써머라이제이션 : 방대한 양의 정보를 핵심 위주로 압축하는 작업. 대화 흐름보다, 정보의 효율적인 전달에 초점. 

- 긴문서, 영상 스크립트, 지난 채팅 기록 전체를 입력으로 넣고, 요약해줘 같은 프롬프트를 실행으로 컨텍스트 최적화.

 

Full Summarization

Incremental Summarization Update 증분 업데이트 요약. 

구분	Chat Session	Summarization
목적	대화의 연속성 및 맥락 유지	정보의 핵심 내용 추출 및 압축
작동 원리	대화 이력을 누적하여 전달	전체 입력을 분석하여 짧은 결과 생성
사용자 경험	자연스러운 '대화' 가능	긴 정보를 빠르게 '파악' 가능
토큰 효율	대화가 길수록 토큰 사용량 증가	긴 데이터를 적은 토큰으로 변환
API 활용	start_chat(), send_message()	일반 generate_content() + 요약 프롬프트

 

 

함께 사용하면 좋은 팁: Context Caching

Gemini API는 매우 긴 컨텍스트(최대 200만 토큰 등)를 지원하지만, 매번 모든 대화 이력을 보내는 것은 비용이 많이 듭니다.

• Chat Session이 너무 길어지면 Summarization을 통해 이전 대화를 요약하여 다시 세션을 시작하거나,
• Context Caching 기능을 사용하여 자주 반복되는 배경 지식이나 긴 매뉴얼 데이터를 캐싱해 두면 비용과 응답 속도를 획기적으로 개선할 수 있습니다.

Gemini API 채팅 세션 가이드

이 영상은 Gemini API를 활용하여 대화 이력을 관리하고 채팅 세션을 구현하는 구체적인 방법을 설명하고 있어 이해에 도움이 될 것입니다.

 

https://youtu.be/GDyEVfsNDhU

 

실무 팁

만약 지금 React(프론트) + Django(백엔드) + Ollama/Gemini 구조로 캐릭터 챗 플랫폼을 개발 중이시라면, 다음과 같이 활용할 수 있습니다.

1. 세계관/설정집: 양이 매우 많다면 Context Caching을 적용해 비용을 아낍니다.
2. 최근 대화: Chat Session으로 실시간성을 유지합니다.
3. 오래된 대화: Summarization을 통해 '기억'의 형태로 요약하여 컨텍스트 창 공간을 확보합니다.