AI 23

RAG -> milvus (밀부스) + Elasticsearch ( chroma T.T )

RAG ( Retrieval-Augmented Generation ) : 검색 증강 생성 1. 설치 ( podman )운영 환경이나 대량의 데이터를 다룰 때 권장되는 방식입니다. Docker Compose를 사용하여 설치합니다. 설치 스크립트 다운로드 및 실행 (Linux/macOS) : 성공적으로 실행되면 19530 포트로 서비스가 열립니다. podman# 작업 디렉토리 생성mkdir milvus-podman && cd milvus-podman# 공식 compose 파일 다운로드curl -sfL https://raw.githubusercontent.com/milvus-io/milvus/refs/heads/master/deployments/docker/standalone/docker-compose.y..

AI 2026.01.24

머신러닝 - Transformer

Jay Alammar (제이 알라마르)영문 : https://jalammar.github.io/illustrated-transformer한글 : https://nlpinkorean.github.io/illustrated-transformer/ --- **머신러닝은 '학문적 개념 또는 기술'**이고, **텐서플로우는 그 기술을 구현하기 위한 '도구(라이브러리)'** 1. 머신러닝 (Machine Learning, ML)머신러닝은 컴퓨터가 명시적인 프로그래밍 없이 데이터로부터 학습하여 판단이나 예측을 할 수 있도록 하는 AI의 한 분야입니다.성격: 이론, 알고리즘, 방법론적 체계.비유: '요리하는 법(레시피)' 그 자체라고 볼 수 있습니다.핵심: 데이터를 분석하고 패턴을 찾아내어 미래를 예측하는 모..

AI 2026.01.23

대화의 연속성 (Context Window)

open-webui 볼륨 내부의 실제 데이터 구조 webui.db (가장 중요)역할: SQLite 데이터베이스 파일입니다.내용: 사용자 계정 정보, 비밀번호(해시), 채팅 히스토리, 설정값, 모델 리스트 등 텍스트로 된 거의 모든 핵심 데이터가 이 파일 하나에 저장됩니다.주의: 볼륨 삭제 시 이 파일이 사라지기 때문에 모든 대화 기록이 날아가는 것입니다.vector_db역할: 벡터 데이터베이스 저장소입니다.내용: 사용자가 문서(PDF, TXT 등)를 업로드했을 때, AI가 검색할 수 있도록 수치화(Embedding)한 데이터가 저장됩니다. RAG(문서 기반 답변) 기능을 사용할 때 참조되는 곳입니다.uploads역할: 원본 파일 저장소입니다.내용: 채팅창에 직접 업로드한 이미지나 문서 파일들이 보관됩니다..

AI 2026.01.22

gemini api chat session, summarization

chat session : 채팅 세션 : 컨테스트를 기역하게 하는 방식.챗봇, 상담에이전트.https://wikidocs.net/228933https://wikidocs.net/232692 써머라이제이션 : 방대한 양의 정보를 핵심 위주로 압축하는 작업. 대화 흐름보다, 정보의 효율적인 전달에 초점. - 긴문서, 영상 스크립트, 지난 채팅 기록 전체를 입력으로 넣고, 요약해줘 같은 프롬프트를 실행으로 컨텍스트 최적화. Full SummarizationIncremental Summarization Update 증분 업데이트 요약. 구분Chat SessionSummarization목적대화의 연속성 및 맥락 유지정보의 핵심 내용 추출 및 압축작동 원리대화 이력을 누적하여 전달전체 입력을 분석하여 짧은 결과 ..

AI/gemini 2026.01.21

ubuntu <-> mac 원격 접속

NoMachinehttps://www.nomachine.com/download 비교 항목NoMachine (추천)Microsoft Remote DesktopVNC (맥 기본)반응 속도매우 빠름 (60fps급)보통느림GPU 활용우수 (4060 직접 사용)제한적 (가상 드라이버)거의 불가설정 난이도쉬움 (앱 설치 끝)보통 (Ubuntu 설정 필요)어려움 (보안 설정 수정)안정성높음 (앱 실행 시 안 끊김)낮음 (충돌 잦음)보통 * Microsoft Remote Desktop 접속이 자주 끊어짐. (antigravity 실행만 하면 끊어짐) 리눅스 설치# 1. 임시 폴더로 이동cd /tmp# 2. NoMachine 최신 패키지 다운로드 (2026년 기준 v9.x 또는 v8.x 최신 버전)# ※ 아래 링크가 만..

AI 2026.01.20

Gemma 3 12B Q8

OS : Ubuntu 24.04.3 LTS 메모리 32G RTS 5080 Ollama 실행podman run -d \ --name ollama \ --device nvidia.com/gpu=all \ -v ollama_data:/root/.ollama \ -p 11434:11434 \ docker.io/ollama/ollama Gemma 3 12B Q8 다운로드podman exec -it ollama ollama run gemma3:12b-it-q8_0 Open WebUI 설치로그인 없이? -e WEBUI_AUTH=False \# 실행 중인 컨테이너 중지 및 삭제.podman stop open-webuipodman rm open-webui# 사용자 정보가 담긴 볼륨 삭제. (채팅기록이나 설..

AI/AI 모델 2026.01.10

AI 모델 5080에서 어떤게 좋을까

B (Billion, parameter) 와 context (Token) 의 의미만 기억해도 넌 천재. 5080에서 돌릴수 있는 모델 찾기 우선 잼마3GeForce RTX 5080 (VRAM 16GB) 환경에서 쾌적하게 사용할 수 있는 Gemma 3 모델들에 대해 정리해 드립니다.RTX 5080은 16GB의 비디오 메모리(VRAM)를 탑재하고 있어, 최신 Gemma 3 라인업 중 12B(120억 파라미터) 모델까지는 매우 여유롭게, 27B(270억 파라미터) 모델은 양자화(Quantization : 4-bit 양자화(Q4) 버전) 버전을 통해 구동이 가능합니다. RTX 5080 추천 Gemma 3 모델 리스트모델 사이즈추천 형식VRAM 점유율 (약)특징Gemma 3 4BFP16 (Full)~9 GB매..

AI/AI 모델 2026.01.08

너를 그리며

우주의 고요한 어둠 속에서 푸르게 빛나는 지구를 바라보는 마음을 담아보았습니다.푸른 별, 너를 그리며끝을 알 수 없는 칠흑 같은 어둠 속에 홀로 떠 있다면, 아마 가장 먼저 너의 눈동자를 닮은 그 푸른 빛을 찾을 거야.수만 킬로미터 떨어진 이곳에서 바라보는 지구는 손에 닿을 듯 작지만, 그 안에는 우리가 함께 나눈 숨결과 수많은 약속이 가득 차 있겠지. 구름 뒤에 숨은 너의 동네를 상상하며, 나는 고요한 진공 속에서도 너의 이름을 나지막이 불러봐.아름답다는 말로는 부족한 저 찬란한 구슬 속에, 내가 돌아갈 유일한 이유인 네가 있다는 사실이 아득한 우주에서 나를 지탱해 주는 단 하나의 중력이 되어주네.멀리 떨어져 있어도 결국 내 시선이 머무는 곳은 단 한 점, 바로 너라는 세상이야.

AI/stable diffusion 2026.01.05