로이팩토리

LangGraph로 멀티턴 AI 에이전트 만들기 - 파이썬 예제와 함께 배우기최근 대화형 AI 시스템이 급속도로 발전하면서, 단순한 일문일답을 넘어서는 복잡한 멀티턴 에이전트 시스템이 요구되고 있습니다. 예를 들어 사용자의 요청을 이해하고, 외부 툴을 사용해 검색하고, 결과를 종합해 다시 사용자에게 답변을 주는 흐름은 단순한 '질문-답변' 체인으로는 구현하기 어렵습니다.이럴 때 필요한 것이 바로 LangGraph입니다.LangGraph란?LangGraph는 LangChain 팀이 만든 오픈소스 프레임워크로, 복잡한 AI 에이전트의 대화 흐름을 그래프 구조로 정의하고 실행할 수 있게 해줍니다. LangChain이 "일렬 체인"이라면, LangGraph는 조건 분기, 반복 루프, 동적 흐름을 지원하는 "상태..

SFTTrainer란?Hugging Face trl 라이브러리를 활용한 LLM(대형 언어 모델) 미세 조정 방법최근 들어 ChatGPT나 LLaMA처럼 사전 학습된 언어 모델을 우리의 데이터에 맞게 미세 조정(fine-tuning) 하고자 하는 수요가 증가하고 있습니다.이때 활용할 수 있는 것이 바로 Hugging Face의 trl 라이브러리에서 제공하는 SFTTrainer입니다.SFT(Supervised Fine-Tuning)란?SFT는 정답(label) 이 있는 데이터를 가지고 모델을 학습시키는 방식입니다. 예를 들어, 다음과 같은 데이터가 있다고 가정해보겠습니다.{ "prompt": "고양이는 왜 낮잠을 자나요?", "response": "고양이는 야행성 동물이기 때문에 낮에 에너지를 충전하기 ..

1. vLLM이란 무엇인가?vLLM은 대규모 언어 모델(LLM)을 고속·고효율·저메모리 사용으로 로컬 또는 서버 환경에서 추론 및 배포할 수 있게 해주는 오픈소스 Python 라이브러리입니다.Berkeley 대학교 Sky Computing Lab이 주도 개발했으며, 이후 커뮤니티 중심으로 발전함 (github.com)핵심 기술인 PagedAttention를 기반으로, KV 캐시(key/value cache)를 메모리 단편화 없이 관리하여 대기시간과 메모리 소모를 크게 줄입니다 (github.com)2. 핵심 기능과 성능PagedAttention: OS 가상 메모리 방식처럼 KV 캐시를 페이지 단위로 관리해 메모리 효율 극대화 (medium.com)Continuous Batching: 여러 요청을 하나의 ..

1. Ollama란 무엇인가?Ollama는 대규모 언어 모델(LLM)을 간단한 명령어만으로 로컬 환경에서 실행할 수 있도록 돕는 플랫폼입니다.복잡한 설치나 클라우드 연결 없이도 LLM을 테스트하고, API로 연동하여 개발에 활용할 수 있게 설계되어 있습니다.Ollama의 주요 특징로컬 실행 지원: Llama 3, Gemma, Mistral 등 다양한 모델을 설치 없이 실행 가능컨테이너 기반 모델 관리: Docker처럼 모델 단위로 pull/run 방식 사용OpenAI API 호환: 기존 OpenAI 기반 코드와 거의 동일하게 사용할 수 있음Windows, macOS, Linux 지원멀티모달 모델 실행 지원 (이미지, 비디오 등 활용)2. 설치 방법 및 버전 확인설치macOS / Linux에서는 아래 명령..

1. 구조적 차이항목RNNMLP구조순환 구조. 이전 시점의 출력을 현재 입력과 함께 사용계층적 구조. 모든 입력은 독립적으로 처리됨파라미터 공유시간축에서 가중치 공유층 간에는 파라미터 공유 없음입력 형태시퀀스 데이터(시간 또는 순서가 있는 데이터)고정된 벡터 형태의 입력2. 데이터 처리 방식항목RNNMLP시간 의존성시간 순서를 따라 데이터를 처리하며, 이전 정보(히든 상태)를 기억모든 입력을 독립적으로 처리상태 저장내부 상태(히든 스테이트)를 유지함상태 저장 없음3. 사용되는 분야항목RNNMLP적합한 작업자연어 처리(NLP), 시계열 예측, 음성 인식 등 순차 데이터 처리이미지 분류, 구조화된 데이터 분류/회귀 등예시텍스트 생성, 기계 번역, 주가 예측 등숫자 분류, 고객 이탈 예측 등4. 계산 흐름ML..

"이 메일은 스팸일까?"우리가 매일 받는 이메일 중 어떤 건 쓸모 있고, 어떤 건 스팸입니다.이걸 자동으로 판단해주는 계산기가 바로 나이브 베이즈(Naive Bayes)입니다.나이브 베이즈란?한마디로 말해,확률을 이용해 어떤 대상이 어느 범주에 속하는지 판단하는 분류 모델입니다.예를 들어 메일 내용에 포함된 단어들을 보고스팸일 확률과 정상 메일일 확률을 계산한 뒤더 높은 쪽을 선택하는 방식입니다.예시로 이해해보자어떤 이메일에 이런 문구가 들어있다고 해볼게요."무료""당첨""지금 클릭"이때 나이브 베이즈는 이렇게 생각합니다.“이 단어들이 들어있는 메일이 스팸일 가능성은 얼마나 될까?”그리고 단어 하나하나가 스팸 메일에서 얼마나 자주 등장했는지를 기준으로확률을 곱해서 결과를 계산합니다.왜 '나이브(순진한)'..