2. Ollama 설치하기
로컬 LLM 모델을 사용하는 경우 Ollama를 반드시 설치해야 합니다. 다운로드 링크를 통해서 운영체제에 맞는 설치 파일을 다운 받습니다.
다운로드 링크 : https://ollama.com/download
D 드라이브에 설치하기
[Notice] 만약 ollam도 D 드라이브로 설치해서 사용하고 싶으면 추가로 설정해야 하는 부분이 있다.
환경 변수 설정
아래 그림과 같이 시스템 환경 변수 설정에 들어가서 OLLAMA_MODELS라는 새로운 환경 변수를 생성합니다. 변수 값은 원하는 드라이브 경로를 입력하면 됩니다. 여기서는 D 드라이드에 Ollama 폴더가 있고 숨김폴더로 .ollama로 설정했습니다.
ollama 특정 폴더 설치하기
윈도우 명령 프롬프트에서 아래와 같은 설치 명령어를 실행하면 됩니다.
설치가 완료되면 아래와 같이 파일들을 확인할 수 있습니다.
Ollama 실행 및 모델 다운로드
명령 프롬프트에서 ollama -v를 실행해서 ollama의 버전을 확인할 수 있는지 확인합니다.
아래 명령어를 사용해서 실습에 사용할 임베딩 모델인 bge-m3을 다운을 받습니다.
추가로 gemma2와 deepseek를 다운 받습니다. 저는 sLLM에 관심이 있어서 이런 선택을 했습니다. 만약 컴퓨팅을 보유하고 있으면 teddy님이 추천한 아래 모델을 설치하시면 됩니다.
Llama DNA 1.0 (8B) 모델 링크: https://huggingface.co/QuantFactory/Llama-DNA-1.0-8B-Instruct-GGUF/tree/main
Huggingface에 있는 모델 등록하기
[Notice] 이젠 .gguf 파일을 힘들게 변환할 필요가 없다.
Huggingface에 있고 Ollama에 정식으로 등록은 안된 LLM 모델을 사용하는 방법은 허깅페이스에서 제공하고 있다. 참조
다운 받고 싶은 모델에 들어가서 Use this model 버튼을 누르면 다양한 Apps 들이 나오고 여기서 Ollama를 선택하면 된다.
그러면 모델의 양자화를 선택할 수 있는 화면이 뜬다. 여기서 원하는 버전을 선택한 다음에 오른쪽에 있는 Copy 버튼으로 명령어를 복사하면 된다.
복사한 명령어를 명령 프롬프트에 실행하면 아래와 같이 모델이 다운이 되고 완료 후에는 모델이 작동된다.
이제 Ollama에서 준비해야할 내용은 끝났습니다.
Last updated