# LLM 연결하기

> Source: https://wisdombase.ai/@help/onprem/llm · Last updated: 2026-09-10

LLM은 **챗봇·MCP 답변**을 문장으로 써 주고, 켜 두면 문서 분석에도 쓰여요. LLM 없이도 검색·MCP·문서 사이트는 전부 동작하고, 답변만 「문서 발췌」로 나가요. 네 가지 방식 중 고르세요 — 어느 쪽이든 **검색 결과는 같아요**. 어떤 문서 조각을 찾아오는지는 사내 파서·청킹·임베딩·하이브리드 검색이 정하고, LLM은 찾아온 발췌로 문장을 쓰는 마지막 단계만 맡기 때문이에요.

관리 › 온프렘 › **LLM 연결**의 「연결 방식」 알약에서 고르면 주소·모델명이 채워지고, 지금 설정이 **사내 LLM**(밖으로 0)인지 **외부 상용 LLM**(질문+발췌만 나감)인지 제목 옆 배지가 알려 줘요. 판정은 주소로 해요 — 사설망·`.local`·`.internal`·compose 서비스명이면 사내, 그 밖이면 외부.

## 방식 ① 사내에 이미 있는 LLM 연결

vLLM·llama.cpp·사내 AI 게이트웨이처럼 **OpenAI 호환 API**를 내는 서버가 있으면 그대로 연결돼요. 국산 모델(HyperCLOVA X·EXAONE·A.X 등)도 OpenAI 호환 주소면 돼요.

![LLM 연결 — 「연결 방식」 알약에서 사내 LLM·국산 팩·외부 상용 LLM 중 고르고, 주소(/v1로 끝나는)·API 키·모델명을 넣어요. 「연결 시험」을 누르면 실제로 한 문장을 물어 보고 응답 시간·모델 이름·판정(사내/외부)이 옆에 나와요. 제목 옆 배지가 지금 설정이 「사내 LLM · 밖으로 나가는 것 0」인지 알려 줘요.](https://wisdombase.ai/@help/files/op2-admin-llm)

*LLM 연결 — 「연결 방식」 알약에서 사내 LLM·국산 팩·외부 상용 LLM 중 고르고, 주소(/v1로 끝나는)·API 키·모델명을 넣어요. 「연결 시험」을 누르면 실제로 한 문장을 물어 보고 응답 시간·모델 이름·판정(사내/외부)이 옆에 나와요. 제목 옆 배지가 지금 설정이 「사내 LLM · 밖으로 나가는 것 0」인지 알려 줘요.*

1. **주소**에 `https://llm.corp.local/v1`처럼 `/v1`까지 넣어요.
2. **API 키**는 있을 때만. 저장한 뒤엔 칸이 비어 보여도 키는 유지돼요(바꿀 때만 다시 입력).
3. **답변 모델**에 그 서버가 아는 모델 이름을 넣어요(예: `exaone-4.0-32b`). llama.cpp는 아무 값이나 돼요.
4. **연결 시험**이 ✓이면 「**LLM 사용**」을 켜고 **저장**해요.
5. 주소가 사내 도메인이 아니라면 저장할 때 자동으로 허용 목록에 들어가요.

## 방식 ② 국산 LLM 팩

팀 › 온프렘에서 받은 팩(`wisdombase-llm-pack-….tar.gz`)을 서버로 옮기고 한 줄이면 돼요.

```bash
sudo ./add-llm-pack.sh wisdombase-llm-pack-kanana-1.5-8b-q4.tar.gz /opt/wisdombase
```

- 모델이 `models/llm.gguf`로 자리 잡고 `wisdombase-llm` 컨테이너가 떠요. 첫 적재에 1~3분 걸려요.
- 관리 화면에서 주소 `http://llm:8080/v1`, 모델명은 아무 값(예: `kanana`)으로 연결 시험 → 「LLM 사용」 → 저장.
- **표준**(8B)은 GPU 또는 16코어 이상 CPU, **경량**(2.1B)은 8코어 CPU에서도 답변해요. CPU만 있으면 한 답변에 수십 초 걸릴 수 있어요. GPU가 있으면 `.env`의 `IMAGE_LLAMA`를 llama.cpp CUDA 이미지로 바꾸고 compose에 `--gpus all`을 더해 주세요(안내가 필요하면 문의 주세요).

## 방식 ③ 외부 상용 LLM 연결(하이브리드)

「문서는 밖에 못 나가지만 답변 품질은 GPT·Claude급이어야 한다」면 이 방식이에요. 임베딩·검색은 그대로 사내에서 끝나고, **답변마다 질문과 검색된 문서 발췌만** 제공사로 나가요. 문서 원본·임베딩·색인·계정 정보는 LLM 요청에 실리지 않아요.

![외부 상용 LLM 연결 — OpenAI 알약을 고르면 주소와 기본 모델명이 채워지고, 배지가 「외부 상용 LLM · 질문+발췌만 나감」으로 바뀌어요. 아래 발췌 상한(기본 4,800자)이 「얼마나 나가나」의 상한이에요.](https://wisdombase.ai/@help/files/op2-admin-llm-external)

*외부 상용 LLM 연결 — OpenAI 알약을 고르면 주소와 기본 모델명이 채워지고, 배지가 「외부 상용 LLM · 질문+발췌만 나감」으로 바뀌어요. 아래 발췌 상한(기본 4,800자)이 「얼마나 나가나」의 상한이에요.*

1. 「연결 방식」에서 **OpenAI · Anthropic Claude · Google Gemini · Azure OpenAI · Upstage Solar · 비즈라우터** 중 하나를 고르면 주소와 기본 모델명이 채워져요(Azure는 리소스 주소를 직접 적고, 모델명엔 배포 이름).
2. **API 키**에 제공사 키를 넣고 **연결 시험** → ✓와 함께 「외부 상용 LLM · 질문+발췌만 나감」이 나오면 「**LLM 사용**」을 켜고 **저장**해요. 저장하면 그 제공사 호스트 하나만 허용 목록에 들어가요.
3. **답변 한 번에 LLM으로 보내는 발췌 상한**(기본 4,800자)으로 「얼마나 나가나」의 상한을 정해요. 검색된 조각을 이 글자 수까지만 잘라 보내요.
4. 같은 화면 「**이번 달 LLM 전송량**」에서 요청 수·보낸 글자·밖으로 나간 글자·평균 응답을 월별로 확인해요. 감사 자료로 그대로 쓸 수 있어요.
5. 「문서 분석에도 LLM 사용」을 외부 LLM으로 켜면 가져오기 때 문서 표본(페이지당 최대 3,500자)이 나가요. 기본은 꺼져 있고, 켜도 전송량에 그대로 셈해져요.

비즈라우터로 연결하면 한 키로 GPT·Claude·Gemini·국산 모델을 모델명만 바꿔 가며 비교할 수 있어요. 검색 지연·답변 지연 실측은 [wisdombase.ai/onprem/benchmark](https://wisdombase.ai/onprem/benchmark)에 있어요.

## 방식 ④ LLM 없이 검색만

아무것도 연결하지 않으면 챗봇은 **가장 관련 있는 문서 발췌와 출처**로 답해요. ChatGPT·Claude 같은 클라이언트에서 MCP로 붙일 땐 그 클라이언트의 LLM이 답을 쓰므로 서버에 LLM이 없어도 잘 동작해요. 가장 보수적인 구성이에요.

## 「문서 분석에도 LLM 사용」은 언제 켜나요

문서를 가져올 때 유형·청킹 전략·섹션 요약을 LLM이 정하게 하는 옵션이에요. 검색 품질이 조금 좋아지지만 **CPU 서빙이면 페이지당 몇 분**이 걸려 가져오기가 느려져요. GPU가 있을 때만 켜고, 그 전엔 꺼 두세요(꺼도 제목 기준 분할로 바로 임베딩돼요).