메타에서 만들어진 오픈소스 LLM 인 llama3.1이 나왔다는 소식을 듣기도 했고, 우연히 유튜브에서 LLM을 활용하는 영상을 보게 되었다.
쉽게 설치하는 방법으로 소개되는데 msty라는 앱을 사용하여 chatgpt 같은 채팅 방식으로 AI를 사용할 수 있었다.

잠깐 살펴보니 상당히 좋을거 같아보여서 설치하기로 결심했다. 안그래도 AI 서비스 구독료가 너무나도 부담스럽고 엄청나게 고 퀄리티 AI를 원하는것도 아니라서..

Msty URL: https://msty.app

설치를 좀 해보니 앱으로 되어있으니 수월하게 사용할 수 있어보인다. UI도 괜찮고..
개인 컴퓨터에 사용할 수 있는 LLM 모델은 한개당 4,5GB 정도되는 크기이며 점유율 문제가 클까.. 하는 불안함도 있었지만 사용해보니 전혀 무리가 가지 않는것을 보니 계속 띄어놔도 되겠다는 확신이 들었다.

많은 모델들을 마구 설치하는것보다 한두개 정도만 사용하는것이 좋고, 질문창에 LLM 모델을 바꿔가면서 질문할 수 있다. 아마도 미심쩍으면 같은 질문을 여러 모델에다 적어서 크로스체킹을 하는것도 좋아보인다.

잠깐 사용해본 첫인상은 젬마는 한국어를 자연스럽게 잘 알아듣는 평이라서 사용해보니 과연 괜찮고, 라마는 한국어로도 답변해주는데 좀 완성도가 떨어지는 때도 보인다.
그래서 보통은 젬마를 사용하는게 나아보이는데 라마는 오픈소스라서 얼마든지 발전 가능해지겠지.. 이제 시작이니깐..

그냥 다른 AI들은 다 치워버리고 로컬 AI로 사용하는것도 좋은 선택이며 이건 추천할만하다. 비용이 적으면서 괜찮은 퀄리티의 결과물을 얻을 수 있으니깐.. 그리고 온,오프라인에 신경쓸 필요도 없고..

마지막으로 아직 활용은 안해봤는데 데이터들을 집어넣어 그 데이터들을 참고하여 질문하고 답변을 얻을 수 있어보인다.