Royfactory

TL;DROllama는 로컬에서 LLM을 실행하고 REST API로 호출할 수 있게 해주는 런타임/서버다. (기본 예시는 http://localhost:11434)핵심 엔드포인트는 /api/generate, /api/chat, /api/embed이며, 임베딩(/api/embed)은 RAG 파이프라인의 출발점이다.Modelfile로 FROM, PARAMETER, SYSTEM, TEMPLATE 등을 선언해 "업무 목적"에 맞춘 커스텀 모델을 패키징할 수 있다.OpenAI 호환 API는 공식 문서/블로그에 안내돼 있으나, 시점에 따라 지원 범위가 변해왔으므로(예: 과거 이슈) 실제 버전 기준으로 확인이 안전하다.본문1. Ollama 개념: "로컬 실행 + API 서빙"Ollama는 로컬에서 모델을 실행하고, ..

TL;DRMintplex Labs가 개발한 Anything LLM은 오픈소스이자 온디바이스 친화형 AI 애플리케이션으로, 문서 대화(RAG), AI 에이전트, 다중 모델을 단일 클라이언트에서 운용할 수 있는 점이 특징이다.맥·윈도우·리눅스용 네이티브 앱과 도커 배포를 동시에 제공하며, 기본 내장 LLM과 임베딩(DB·벡터DB)을 모두 로컬 환경에서 실행할 수 있다.v1.9.0(2025-10-09)에서는 실시간 스트리밍 에이전트, 웹에서 직접 파일 다운로드·처리 기능 등이 새롭게 추가되었다. Anything LLM 개요제품 정의Anything LLM은 “AI 활용의 모든 것을 하나의 애플리케이션에 담는 것”을 목표로 하는 Mintplex Labs의 대표 제품이다.데스크탑 클라이언트, 셀프호스트 서버, 클..