DeepSeek(딥시크) 로컬에서 사용하기

DeepSeek는 중국 AI 기업에서 개발한 오픈소스 AI 언어 모델로, 무료이며 GPT보다 뛰어난 추론 능력으로 주목받고 있습니다. 이 문서는 DeepSeek을 로컬에 설치하고 활용하는 방법을 정리한 가이드입니다. 웹 버전도 존재하지만, 로컬에서 직접 설치하여 사용하면 개인정보 보호, 오프라인 환경에서도 사용 가능, 유연한 처리 등 다양한 장점이 있습니다. DeepSeek을 로컬에서 활용하는 방법을 정리한 문서입니다.

 

---

로컬의 장점

• 개인정보 보호
• 오프라인 환경에서도 사용 가능
• 유연한 처리

---

B(Parameters)선택 시 참고사항

• 대형 모델: 100B 이상
• 중간 모델: 10~100B 파라미터
  
  • 고사양 단일 GPU 혹은 병렬 GPU 구성
• 소형 모델: 10B 이하
  • 8GB이하 VRAM의 단일 GPU

---

설치방법

1. ollama 설치

1-1. ollama란?

• 로컬 환경에서 실행할 수 있는 경량화된 AI 모델 실행 프레임워크입니다. 주로 **LLM(대형 언어 모델, Large Language Model)**을 쉽게 실행하고 관리할 수 있도록 설계되었습니다

1-2. 설치 방법

• 공식 홈페이지에서 OS에 맞게 설치

1-3. 설치 확인

ollama -v

ollama 버전확인

---

2. deepseek-r1 모델 설치

2-1. ollama deepseek 문서

• 공식 홈페이지에서 Models - deepseek 검색

deepseek 검색화면

2-2. 원하는 버전 설치

• 테스트를 위해 8B 설치

ollama run deepseek-r1:8b

• 결과

설치 완료 화면

---

3. 테스트

• 버전이 낮아서 그런가 퀄리티는 좋지 못한듯 하다..

질의응답 결과