Royfactory

TL;DROllama는 로컬에서 LLM을 실행하고 REST API로 호출할 수 있게 해주는 런타임/서버다. (기본 예시는 http://localhost:11434)핵심 엔드포인트는 /api/generate, /api/chat, /api/embed이며, 임베딩(/api/embed)은 RAG 파이프라인의 출발점이다.Modelfile로 FROM, PARAMETER, SYSTEM, TEMPLATE 등을 선언해 "업무 목적"에 맞춘 커스텀 모델을 패키징할 수 있다.OpenAI 호환 API는 공식 문서/블로그에 안내돼 있으나, 시점에 따라 지원 범위가 변해왔으므로(예: 과거 이슈) 실제 버전 기준으로 확인이 안전하다.본문1. Ollama 개념: "로컬 실행 + API 서빙"Ollama는 로컬에서 모델을 실행하고, ..

TL;DRLangChain은 LLM 기반 애플리케이션과 에이전트를 빠르게 조립하기 위한 오픈소스 프레임워크(및 생태계/플랫폼)다.핵심 조립 방식은 LCEL(LangChain Expression Language)과 Runnable 중심이며, 스트리밍/배치/비동기 같은 실행 특성을 일관되게 다루는 방향으로 발전했다.LangGraph는 "상태를 갖는(stateful) 장기 실행 에이전트"를 그래프 형태로 오케스트레이션하는 저수준 프레임워크다.LangServe는 LangChain의 runnable/chain을 FastAPI 기반 REST API로 배포하는 도구다.보안/운영 측면에서 최근(2025-12) 직렬화(Serialization) 주입 취약점(CVE-2025-68664/68665)이 공개되어, 영향 버전은..

TL;DRText2SQL은 자연어 질문을 SQL 쿼리로 변환하는 AI 기술입니다. 사용자가 한글로 "지난해 매출이 가장 높은 달은?"이라고 물으면, LLM이 해당 SQL을 생성해 데이터베이스에서 결과를 반환합니다. 기존 DIN-SQL, DAIL-SQL 같은 프롬프트 엔지니어링 기법과 RAG(검색 증강 생성)의 결합으로 정확도가 87.6%까지 올라갔고, 스키마 링크(Schema Linking), Self-Correction 같은 메커니즘이 오류를 크게 줄였습니다. 최근 당근페이, IBM, AWS 등이 실제 비즈니스에 적용 중이며, 데이터 민주화의 핵심 기술로 부상했습니다.본문1. Text2SQL이란 무엇인가?Text2SQL은 자연어로 작성된 질문을 SQL 쿼리로 자동 변환하는 기술입니다. 전통적으로 데이터..

LangGraph로 멀티턴 AI 에이전트 만들기 - 파이썬 예제와 함께 배우기최근 대화형 AI 시스템이 급속도로 발전하면서, 단순한 일문일답을 넘어서는 복잡한 멀티턴 에이전트 시스템이 요구되고 있습니다. 예를 들어 사용자의 요청을 이해하고, 외부 툴을 사용해 검색하고, 결과를 종합해 다시 사용자에게 답변을 주는 흐름은 단순한 '질문-답변' 체인으로는 구현하기 어렵습니다.이럴 때 필요한 것이 바로 LangGraph입니다.LangGraph란?LangGraph는 LangChain 팀이 만든 오픈소스 프레임워크로, 복잡한 AI 에이전트의 대화 흐름을 그래프 구조로 정의하고 실행할 수 있게 해줍니다. LangChain이 "일렬 체인"이라면, LangGraph는 조건 분기, 반복 루프, 동적 흐름을 지원하는 "상태..

LangChain이 뭐예요?LangChain은 ChatGPT 같은 LLM을 사용한 앱을 쉽게 만들도록 도와주는 파이썬 프레임워크입니다.예를 들어 이런 걸 만들고 싶다면?"사용자가 질문하면, 관련 문서를 검색하고 요약해주는 AI 서비스"LangChain을 쓰면, 이 복잡한 과정을 코드 몇 줄로 구현할 수 있어요.기본 개념과 파이썬 예제1. 프롬프트 템플릿 (PromptTemplate)프롬프트를 코드로 쉽게 구성하고 재사용할 수 있어요.from langchain.prompts import PromptTemplatetemplate = "너는 친절한 AI야. 사용자 질문: {question}"prompt = PromptTemplate.from_template(template)question = "파이썬이 뭔가요..

1. LangSmith란 무엇인가LangSmith는 LangChain 팀에서 개발한 생성형 AI 애플리케이션의 프로덕션 환경을 대상한 관찰(observability), 테스트, 평가(evaluation), 디버깅, 성능 모니터링을 통합한 플랫폼입니다. LangChain은 프로토타이핑 도구에 집중한 반면, LangSmith는 본격 운영 단계의 안정성과 품질 확보를 목표로 합니다 .2. 핵심 기능디버깅 & 추적(Tracing)LLM 앱 실행 전체 흐름을 기록하고, 각 단계의 입력·출력·도구 호출 등을 시각화하여 디버깅 가능.테스트 & 평가(Evals)사용자 데이터 기반 테스트셋 구축 및 LLM-as-Judge 평가, 휴먼 피드백, 기준 비교 테스트 등을 지원.프롬프트 엔지니어링Playground UI에서 프..