皆さんこんにちは。最近何かと話題のChat-gptをはじめとした生成AIですが、どうしても気になるのが情報漏洩ですね。特に個人情報に係る相談をする際には、どうしてもオンラインのAIを使う気になれません。
そこで今回、思い切ってローカルLLMをPCにインストールしてみました。ここではインストール手順を紹介し、簡単な使用感をお伝えできればと思います！
1.インストールするソフト
今回はOllamaというソフトをインストールし、その上でLLaMAやGemmaのような言語モデルをインストールする手順をとります。
ここで、Ollamaは大規模言語モデルのランナーと呼ばれるソフトでゲーム機本体のような役割を果たし、LLaMAやGemmaはゲームソフトのような役割を果たすイメージのようです。
2.Ollamaのインストール手順
①Ollamaのインストーラーをダウンロードします。
②OllamaSetup.exeというファイルが保存されるので、これをダブルクリックします。その後は指示に従ってインストールを進めてください。 ※macの場合はOllama.appというタイトルのインストーラーのようです。
③インストールが済んだら、Windowsキーを押してOllamaで検索 → Ollamaのアイコンが出てくるのでダブルクリックして起動させましょう。この際、特にウィンドウやポップアップは表示されません。 反応がないからと言って慌てないようにしましょう。
以上でOllamaのインストールは完了です。
3.言語モデルのインストール手順
①Ollamaはコマンドプロンプトで操作します。コマンドプロンプトは、windowsボタン→”コマンド”で検索すると出てくるので、最初に起動させましょう。
②インストールのコマンドは 「ollama pull 欲しい言語モデル」 です。 最初は大きなモデルを選ばずにLlama 3.2くらいを選ぶのが無難です。今回は軽量なこのモデルをインストールして、ローカルLLMがどのようなものなのかを試してみましょう。
ollama pull llama3.2
③言語モデルの起動コマンドは 「ollama run 動かしたい言語モデル」 です。今回は②でインストールしたLlama3.2を起動してみましょう。
ollama run llama3.2
④起動すると、「>>>」という記号で待機されるので、試しに何か入力してみてください。 返事をしてもらえますよ。
4.インストール可能な言語モデル
インストール可能な言語モデルはインターネットにライブラリーが公開されているので、これを見ながら自分に必要なモデルを追加していくことになります。
どれもインストール自体は可能なのですが、実用に耐えられるスピードで動くかどうかは使用しているPCのスペックに左右されるようです。ローカルLLMはビデオカードの性能によるところが大きいようで、VRAMが16GB以上あると大抵の場合は大丈夫なようです。
是非、いろいろとインストールしてみて、自分に最適なモデルを見つけてみてください。
さて、本日の記事はここまでです。色々と分かりにくい部分もあったかと思いますが、ローカルLLMに興味を持ってもらえたなら、この記事を書いた身としてはうれしい限りです。今後は自分なりにLLMを使って見つけた便利な使い方などをお伝えできればと思っています！
コメント