Ollamaの使用

LobeVidolでOllamaを使用して、ローカルで大規模言語モデルを実行し、最先端のAI体験を得る方法を学びましょう。

Ollamaは、Llama 2やMistralなど、さまざまな言語モデルをサポートする強力なローカル実行の大規模言語モデル（LLM）フレームワークです。現在、LobeVidolはOllamaとの統合をサポートしており、LobeVidol内でOllamaが提供する言語モデルを簡単に使用してアプリケーションを強化できます。

このドキュメントでは、LobeVidolでOllamaを使用する方法を説明します：

​

macOSでOllamaを使用する

1. Ollamaをローカルにインストール

   macOS用Ollamaをダウンロードし、解凍してインストールします。

2. Ollamaのクロスオリジンアクセスを許可する設定

   Ollamaのデフォルト設定では、起動時にローカルアクセスのみが設定されているため、クロスオリジンアクセスとポートリスニングには追加の環境変数設定OLLAMA_ORIGINSが必要です。launchctlを使用して環境変数を設定します：

   ```bash
   launchctl setenv OLLAMA_ORIGINS "*"
   ```
   
   設定が完了したら、Ollamaアプリケーションを再起動する必要があります。
   

3. LobeVidolでローカル大規模モデルと対話する

   次に、LobeVidolを使用してローカルLLMと対話できます。

   <img
     src="https://oss.vidol.chat/assets/9cc8ac00cfe1eb7397e7206755c79f0a.webp"
     alt="LobeVidolでllama3と対話"
     className="w-full"
   />
   

​

WindowsでOllamaを使用する

1. Ollamaをローカルにインストール
2. Windows用Ollamaをダウンロードし、インストールします。
3. Ollamaのクロスオリジンアクセスを許可する設定
4. Ollamaのデフォルト設定では、起動時にローカルアクセスのみが設定されているため、クロスオリジンアクセスとポートリスニングには追加の環境変数設定OLLAMA_ORIGINSが必要です。
5. Windowsでは、Ollamaはユーザーおよびシステムの環境変数を継承します。
7. LobeVidolでローカル大規模モデルと対話する
8. 次に、LobeVidolを使用してローカルLLMと対話できます。

​

LinuxでOllamaを使用する

1. Ollamaをローカルにインストール
2. 以下のコマンドでインストールします：
3. curl -fsSL https://ollama.com/install.sh | sh
   

4. または、Linux手動インストールガイドを参照することもできます。
5. Ollamaのクロスオリジンアクセスを許可する設定
6. Ollamaのデフォルト設定では、起動時にローカルアクセスのみが設定されているため、クロスオリジンアクセスとポートリスニングには追加の環境変数設定OLLAMA_ORIGINSが必要です。Ollamaがsystemdサービスとして実行されている場合、systemctlを使用して環境変数を設定する必要があります：
8. sudo systemctl edit ollama.service
   

10. [Service]
    Environment="OLLAMA_HOST=0.0.0.0"
    Environment="OLLAMA_ORIGINS=*"
    

12. sudo systemctl daemon-reload
    sudo systemctl restart ollama
    

13. LobeVidolでローカル大規模モデルと対話する
14. 次に、LobeVidolを使用してローカルLLMと対話できます。

​

Dockerを使用してOllamaをデプロイする

1. Ollamaイメージをプルする
2. Dockerを使用することを好む場合、Ollamaは公式のDockerイメージも提供しており、以下のコマンドでプルできます：
3. docker pull ollama/ollama
   

4. Ollamaのクロスオリジンアクセスを許可する設定
5. Ollamaのデフォルト設定では、起動時にローカルアクセスのみが設定されているため、クロスオリジンアクセスとポートリスニングには追加の環境変数設定OLLAMA_ORIGINSが必要です。
6. OllamaがDockerコンテナとして実行されている場合、環境変数をdocker runコマンドに追加できます。
7. docker run -d --gpus=all -v ollama:/root/.ollama -e OLLAMA_ORIGINS="*" -p 11434:11434 --name ollama ollama/ollama
   

8. LobeVidolでローカル大規模モデルと対話する
9. 次に、LobeVidolを使用してローカルLLMと対話できます。

​

Ollamaモデルのインストール

Ollamaはさまざまなモデルをサポートしており、Ollamaライブラリで利用可能なモデルのリストを確認し、ニーズに合ったモデルを選択できます。

​

LobeVidolでのインストール

LobeVidolでは、llama3、Gemma、Mistralなどの一般的な大規模言語モデルがデフォルトで有効になっています。モデルを選択して対話を開始すると、そのモデルをダウンロードする必要があることを通知します。

ダウンロードが完了したら、対話を開始できます。

​

Ollamaを使用してモデルをローカルにプルする

もちろん、ターミナルで以下のコマンドを実行してモデルをインストールすることもできます。llama3の例：

ollama pull llama3

​

カスタム設定

設定 -> 言語モデルでOllamaの設定オプションを見つけることができ、ここでOllamaのプロキシ、モデル名などを設定できます。

Ollamaとの統合にアクセスして、Ollamaとの統合要件を満たすためにLobeVidolをデプロイする方法を学ぶことができます。