로컬 컴퓨터에서 LLM 실행 방법들

Ollama, LMStudio, vLLM, LamaCPP

1. Ollama

터미널에서 실행할 수 있는 오픈소스 LLM

설치 명령:

curl -sSfL https://ollama.com/download.sh | sh

모델 실행 명령:

ollama run <모델명>

터미널 명령 다양한 옵션 지원되니 모델을 여러 옵션으로 커스터마이징 실행하기 좋아하는 유저에 추천. 📦

2. LMStudio

GUI 기반 LLM 실행 환경

설치 명령:

git clone https://github.com/LMStudio/LMStudio.git
cd LMStudio
npm install

실행 명령:

npm start

GUI 환경으로 사용이 편리하므로 모든 유저에 추천. 🎨

3. vLLM

고성능 LLM을 위한 경량화된 솔루션

설치 명령:

pip install vllm

실행 명령:

vllm run <모델명>

메모리 사용량을 최소화하면서도 빠른 속도가 장점이니 성능충에 추천. 🚀

4. LamaCPP

C++ 기반의 LLM 실행 환경으로, 성능이 뛰어남

설치 명령:

git clone https://github.com/LamaCPP/LamaCPP.git
cd LamaCPP
mkdir build && cd build
cmake ..
make

실행 명령:

./LamaCPP <모델명>

성능 최적화가 잘 되어 있어서, 대규모 모델을 효율적으로 실행 가능하며 C++에 익숙한 사용자에게 추천. 💻