[AI] Llama 3 를 사용해보자

윈도우를 기준으로 설명하는 글이므로 다른 OS 플랫폼등에서는 미묘하게 다를수 있으므로 그에 따른 미묘한 차이점등은 링크된 사이트및 인터넷에 공개된 자료들을 참고하시면 쉽게 적용할수 있을것입니다.

 

 

#1. 먼저 Llama 3 를 다운로드 및 설치 해줍니다. 

https://ollama.com/   편하게 실행하기 위해 Ollama 사이트를 방문하셔서 다운로드 후 설치를  진행 합니다. 

 

커맨드창(터미널)을 열어서  ollama run llama3:70b 

llama3를 실행하기 위해 다운로드가 자동으로 진행 됩니다. 40기가 용량으로 상당히 긴시간이 소요 됩니다. 

터미널을 열어서 명령어를 실행하는 방식이므로 조금 불편할수 있습니다. 

 

#2. WebUI  설치및 실행을 편리하게 하기 위해 Docker 를 다운로드및 설치 해줍니다. 

https://www.docker.com/    우리는 로컬에서 실행하기 위한 작업이므로 Docker Desktop을 다운로드및 설치해줍니다. 

거의 다음만 누르면 진행 되며 설치가 끝나면 재부팅을 해줘 설치가 미진했던 부분까지 완료가 되도록 진행합니다. 

Docker 를 실행하여  엔진실행 상태까지 진행 합니다.  Docker 좌측 하단을 보면 엔진실행중인지 확인이 가능합니다. 

 

#3. Docker가 준비되었으면 WebUI를 Docker와 연결해 줍니다. 

 

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

커맨드창을 열어 위 명령어를 실행 webui 를 다운로드및  docker와 연결하는 작업을 진행 합니다.

 

https://github.com/open-webui/open-webui

GitHub - open-webui/open-webui: User-friendly WebUI for LLMs (Formerly Ollama WebUI)

webui 는 github를 통해 무료 공개 되어있으므로 참고 하시면 됩니다. 

서버를 다른 컴퓨터에서 실행하여 진행 하는 방법도 있으므로 실행하고자 하는 환경에 따라 맞춰 진행 하실수도 있습니다.

 

 

#4  WebUI 를 접속 사용자 등록및 로그인 합니다. 

 

웹브라우져에서 localhost:3000 또는 127.0.0.1:3000  주소로 연결하면 로그인및 사용자 등록할수 있는 화면이 나옵니다.

로그인후 llama3 이외에도 용도에 따라 다양한 모델을 등록후 사용하시면 됩니다. 

설정에서 모델탭에 Pull a model from ollama.com 에서 llama3를 다운로드 하여 진행 하시면 됩니다.

좀더 자세한 내용은  https://collabnix.com/getting-started-with-llama-3/  방문하시면 자세한 정보를 확인하실수 있습니다. 

 

https://huggingface.co/   를 방문하시면 다양한 모델및 데이터셋등을 만나볼수 있습니다. 

 

LLM 이나 WebUI 관련 자료를 다운로드 받다보면 수백기가 용량이 사용되므로 용량확보가 안되시는 분들은 실행하기가 어렵습니다. LLM을 저용량 모델을 사용하거나 Llama3:8b 같은 저용량 자료를 활용하시는 방법이 있겠습니다. 

 

이글은 로컬에서 AI가 구동하는 방법 간략하게 소개하는 수준으로 이해하시면 좋을듯 합니다. 

보다 자세한 정보나 데이터는 AI 관련 커뮤니티가 워낙 다양하게 발전하고 있으며, 특히 해외 사이트에서 다양한 정보들이 공유되는것들을 참고하시면 도움이 될것으로 예상 됩니다.  이미 Youtube 등에서도 다양한 방식으로 실행하는 방법등을 설명한 영상을 참고하시면 보다 쉽게 적용할수 있습니다.

llama3 뿐만 아니라 MS Phi-3 나 Google Geminai  등으로 확장 활용하실수도 있을것입니다.

 

그럼 AI로의 한발짝 내딛어 업무및 다양한 부문에서 도움이 되시길 바랍니다.  이만 줄입니다.