VoidNoble IT Zone

Ollama, LMStudio, vLLM, LamaCPP1. Ollama터미널에서 실행할 수 있는 오픈소스 LLM설치 명령:curl -sSfL https://ollama.com/download.sh | sh모델 실행 명령:ollama run 터미널 명령 다양한 옵션 지원되니 모델을 여러 옵션으로 커스터마이징 실행하기 좋아하는 유저에 추천. 📦2. LMStudioGUI 기반 LLM 실행 환경설치 명령:git clone https://github.com/LMStudio/LMStudio.gitcd LMStudionpm install실행 명령:npm startGUI 환경으로 사용이 편리하므로 모든 유저에 추천. 🎨3. vLLM고성능 LLM을 위한 경량화된 솔루션설치 명령:pip install vllm실행 명..

Model Context ProtocolLLM 앱과 연결할때 통신 규약MCP Clienthttps://claude.ai/ 채팅 사이트에 웹브라우저로 접속 했을때웹브라우저가 Client이다.웹브라우저가 LLM 서버의 Client이다.웹브라우저가 LLM 서버의 채팅 Client이다.MCP ServerLLM이 못하는 기능들을 LLM 명령에 따라 수행하는 서버.Client에 채팅창에 https fetch 해서 학습 뒤 어떤 답변해달라 프롬프팅LLM 자체는 말만 알아듣고 위 URL의 문서를 fetch하는 기능은 하지 못하기에요즘은 LLM 채팅에서 URL fetch 기능도 수행 하지만...LLM의 명령을 받아 URL fetch 기능을 수행하는 Server를 만들고이 서버가 MCP 서버이 서버에 LLM 명령 프로토콜..

Visual Studio Code에서 Roo code 플러그인으로 요즘 유행중인 AI 바이브 코딩이었는데두번째 프롬프트 명령 내린 후 수행이 좀 되다가 아래 스샷과 같이 429 상태 오류 응답 발생함.AI API 호출을 너무 여러번 숨쉴 틈 없이 하는게 부하를 줘서 그런가보다~ 추측하고Root Code 설정 중 Rate limit을 30초로 늘려보았으나 AI API 요청을 간격 위 설정과 관계없이 바로 바로 해버려서 동일 오류 계속 발생!해결책은?