내 PC에서 AI 돌리기: Ollama·LM Studio 설치부터 사양별 모델 고르기

회사 문서나 개인 메모를 AI에게 맡기고 싶은데 밖으로 내보내기가 꺼려진다면, 오픈소스 모델을 내 PC에 내려받아 인터넷 없이 돌리는 방법이 있습니다. Ollama나 LM Studio를 깔고 모델 하나만 받아 두면 그다음부터는 랜선을 뽑아도 대화가 되는데, 관건은 내 PC 메모리에 맞는 크기를 고르는 일입니다.

Ollama와 LM Studio, 무엇으로 시작할까

둘 다 하는 일은 비슷하고 차이는 다루는 방식에 있습니다. Ollama는 터미널에 명령 한 줄을 넣는 쪽이고 LM Studio는 채팅 앱처럼 화면에서 모델을 검색해 받고 고르는 쪽입니다. 명령어가 낯설다면 LM Studio가 편하고, 나중에 다른 프로그램과 연결해 쓸 생각이라면 Ollama가 손에 익혀 두기 좋습니다.

설치 조건은 조금 다릅니다. Ollama는 Windows 10 22H2 이상이면 Home이든 Pro든 되고, 관리자 권한 없이 내 사용자 폴더에 깔립니다. LM Studio는 Windows에서 AVX2를 지원하는 CPU가 필요하고, 메모리 16GB 이상과 그래픽카드 전용 메모리 4GB 이상을 권장합니다. Mac은 M1 이후 칩과 macOS 14 이상이어야 하고 인텔 Mac은 지원하지 않습니다.

Ollama 설치하고 첫 대화 열기

ollama.com의 Download에서 Windows용 설치 파일(OllamaSetup.exe)을 받아 실행하면 됩니다. PowerShell에 아래 한 줄을 넣어 설치하는 방법도 공식 안내에 있지만, 인터넷에서 받은 스크립트를 바로 실행하는 방식이라 처음이라면 설치 파일 쪽이 마음 편합니다.

irm https://ollama.com/install.ps1 | iex

설치가 끝나면 Ollama가 백그라운드에서 돌기 시작하고, 명령 프롬프트나 PowerShell에서 ollama 명령을 쓸 수 있게 됩니다. 이제 가벼운 모델 하나로 대화를 열어 보세요.

ollama run gemma4:e2b

처음 실행할 때는 모델을 내려받느라 시간이 걸립니다. 공식 안내 기준으로 약 7.2GB이고, 그래픽카드 메모리 8GB를 권장하되 모자라면 일반 메모리를 빌려 쓰는 대신 답이 느려진다고 합니다. 다운로드가 끝나고 >>> 표시가 뜨면 성공이니 질문을 바로 넣으면 되고, 대화를 끝낼 때는 /bye를 입력합니다.

모델이 그래픽카드에서 도는지도 확인해 두세요. 다른 창에서 ollama ps를 실행했을 때 PROCESSOR 칸에 100% GPU가 보이면 가장 좋은 상태이고, 100% CPU나 48%/52% CPU/GPU처럼 나오면 일부나 전부가 일반 메모리로 밀려난 것이라 속도가 떨어집니다.

LM Studio로 하면 화면에서 끝납니다

lmstudio.ai에서 설치 파일을 받아 깐 뒤, 왼쪽 Discover 탭(단축키 Ctrl + 2)에서 모델 이름을 검색해 내려받습니다. 같은 모델인데 Q3_K_S, Q8 같은 이름이 붙은 여러 파일이 보일 텐데, LM Studio는 PC가 감당할 수 있다면 4비트 이상을 고르라고 안내합니다. 받은 다음에는 Chat 탭의 모델 불러오기에서 방금 받은 모델을 골라 메모리에 올리고, 채팅창에 질문을 넣으면 됩니다.

인터넷을 끊어도 되는지 확인하기

LM Studio는 모델을 받아 둔 뒤라면 채팅, 문서 넣고 대화하기, 로컬 서버까지 인터넷 없이 된다고 밝히고 있고, 대화에 넣은 내용이나 끌어다 놓은 문서는 기기 밖으로 나가지 않는다고 설명합니다. 다만 모델 검색과 다운로드는 인터넷이 있어야 합니다.

Ollama도 내 PC에서 돌릴 때는 프롬프트를 보지 않는다고 안내하는데, 이름이 :cloud로 끝나는 모델은 Ollama 서버에서 돌아간다는 점이 다릅니다. 클라우드 기능을 아예 끄고 싶다면 사용자 환경 변수에 OLLAMA_NO_CLOUD를 만들어 값을 1로 넣고 Ollama를 다시 켜면 됩니다. 확인하는 방법은 단순합니다. 와이파이를 끈 상태에서 ollama run gemma4:e2b로 질문했을 때 답이 나오면 내 PC 안에서만 돌고 있다는 뜻입니다.

내 PC 사양이면 어느 크기까지 현실적인가

아래 표는 Ollama 모델 목록에 나온 파일 크기를 기준으로, 파일이 메모리에 여유 있게 들어가는 선을 어림한 것입니다. 공식 권장표가 아니라 계산으로 잡은 대략의 기준이니 출발점으로만 쓰세요.

내 PC	현실적인 크기	예시(파일 크기)
그래픽카드 없음, 메모리 8GB	1~4B	`llama3.2:3b` 2.0GB, `qwen3:4b` 2.5GB
메모리 16GB 또는 그래픽 메모리 8GB	4~8B	`gemma4:e2b` 4.6~7.5GB, `qwen3:8b` 5.2GB
그래픽 메모리 12~16GB	12~20B	`gemma4:12b` 약 8GB, `gpt-oss:20b` 14GB(16GB 카드에서 빠듯)
그래픽 메모리 24GB	26~32B	`gemma4:26b` 16~19GB, `qwen3:30b` 19GB

참고로 llama3.1:70b는 파일만 43GB라 집에서 쓰는 PC로는 버겁습니다. 그래픽카드 메모리는 작업 관리자의 성능 탭에서 GPU를 누르면 전용 GPU 메모리로 나옵니다.

잘하는 일과 아쉬운 일

로컬 모델이 빛나는 곳은 밖으로 보내기 싫은 글을 다룰 때입니다. 회의 메모 정리, 개인 일기 요약, 사내 문서 초안 다듬기처럼 내용이 민감한 일을 횟수 제한 없이 반복할 수 있으니까요. 아래처럼 맡기면 되는데, 제가 만든 예시라 효과를 따로 재 보지는 않았습니다.

아래 글을 다섯 줄로 요약해 줘. 글에 없는 내용은 덧붙이지 말고,
날짜·숫자·사람 이름은 원문 그대로 옮겨 줘.
[글] (여기에 붙여넣기)

그런데 아쉬운 점도 분명합니다. 작은 모델은 큰 모델에 비해 실력이 확실히 떨어져서, Gemma 4가 공개한 점수만 봐도 MMLU Pro에서 E2B는 60.0%, 31B는 85.2%입니다. 언어 지원도 모델마다 달라서, Gemma 4는 140개가 넘는 언어를 지원한다고 밝히지만 Llama 3.2는 공식 지원 언어 8개에 한국어가 없습니다. 긴 문서도 조심해야 하는 게, 그래픽 메모리가 24GB보다 작으면 Ollama는 기본 대화 길이(컨텍스트)를 4천 토큰으로 잡습니다. 앱 설정의 슬라이더로 늘릴 수 있지만 그만큼 메모리를 더 씁니다. 최신 소식도 모릅니다. 예컨대 Llama 3.1은 학습 데이터 기준일이 2023년 12월로 적혀 있습니다.

느리거나 메모리가 모자랄 때

답이 한 글자씩 느리게 나온다면 먼저 ollama ps로 CPU에서 도는지 보세요. CPU 비율이 높으면 한 단계 작은 모델로 바꾸는 게 가장 빠르고, NVIDIA 카드라면 드라이버가 551.61 이상인지도 확인해 보세요. 라데온 RX 6000 계열은 ROCm이 안 잡힐 수 있는데, 이때는 기본으로 켜진 Vulkan으로 돌아갑니다.
메모리가 부족하다며 열리지 않는다면 앞서 쓴 모델이 아직 올라가 있을 수 있습니다. Ollama는 모델을 5분 동안 메모리에 남겨 두니 ollama stop 모델이름으로 내리고, 대화 길이를 늘려 두었다면 줄여 보세요.
C 드라이브가 꽉 찬다면 모델 저장 위치를 옮기면 됩니다. 사용자 환경 변수에 OLLAMA_MODELS를 만들고 값에 다른 드라이브 폴더를 넣은 다음, 작업 표시줄의 Ollama를 종료했다가 시작 메뉴에서 다시 켜세요.
원인을 모르겠다면 Win + R에 explorer %LOCALAPPDATA%\Ollama를 넣어 열리는 폴더의 server.log를 보세요. 가장 최근 기록이 여기에 남습니다.

오프라인으로 쓰기 전 체크리스트

그래픽카드 전용 메모리와 일반 메모리 크기를 확인했다
메모리에 맞는 크기의 모델을 하나 내려받았다
ollama ps나 LM Studio에서 모델이 올라간 것을 봤다
이름이 :cloud로 끝나는 모델을 쓰지 않거나 클라우드 기능을 껐다
와이파이를 끄고도 답이 나오는지 확인했다

내 PC에서 AI를 돌리는 일은 설치보다 모델 크기를 고르는 데서 성패가 갈립니다. 처음에는 표에서 내 사양보다 한 칸 아래 모델로 시작해 속도와 답의 질을 보고 한 칸씩 올려 가는 편이 헛걸음이 적습니다. 오늘은 가벼운 모델 하나를 받아 와이파이를 끈 채 질문 하나를 던져 보는 것부터 해 보세요.