Utiliser Ollama

Découvrez comment utiliser Ollama dans LobeVidol, exécutez des modèles de langage de grande taille localement et profitez de lexpérience d’IA à la pointe de la technologie.’

Ollama est un cadre puissant pour exécuter localement des modèles de langage de grande taille (LLM), prenant en charge divers modèles de langage, y compris Llama 2, Mistral, etc. Désormais, LobeVidol prend en charge l’intégration avec Ollama, ce qui signifie que vous pouvez facilement utiliser les modèles de langage fournis par Ollama dans LobeVidol pour améliorer vos applications.

Ce document vous guidera sur la façon d’utiliser Ollama dans LobeVidol :

​

Utiliser Ollama sur macOS

1. Installer Ollama localement

   Téléchargez Ollama pour macOS et décompressez-le, puis installez-le.

2. Configurer Ollama pour autoriser l'accès cross-origin

   En raison de la configuration par défaut d’Ollama, il est réglé pour un accès local uniquement au démarrage, donc l’accès cross-origin et l’écoute des ports nécessitent des réglages supplémentaires des variables d’environnement OLLAMA_ORIGINS. Utilisez launchctl pour définir la variable d’environnement :

   ```bash
   launchctl setenv OLLAMA_ORIGINS "*"
   ```
   
   Après avoir terminé la configuration, vous devez redémarrer l'application Ollama.
   
3. Dialoguer avec le grand modèle local dans LobeVidol

   Ensuite, vous pouvez dialoguer avec le LLM local dans LobeVidol.

   

​

Utiliser Ollama sur Windows

​

Utiliser Ollama sur Linux

​

Déployer Ollama avec Docker

​

Installer des modèles Ollama

Ollama prend en charge divers modèles, vous pouvez consulter la liste des modèles disponibles dans Ollama Library et choisir le modèle qui vous convient.

​

Installation dans LobeVidol

Dans LobeVidol, nous avons par défaut activé certains modèles de langage courants, tels que llama3, Gemma, Mistral, etc. Lorsque vous sélectionnez un modèle pour dialoguer, nous vous informerons que vous devez télécharger ce modèle.

Une fois le téléchargement terminé, vous pouvez commencer à dialoguer.

​

Utiliser Ollama pour tirer des modèles localement

Bien sûr, vous pouvez également installer des modèles en exécutant la commande suivante dans le terminal, en prenant llama3 comme exemple :

ollama pull llama3

​

Configuration personnalisée

Vous pouvez trouver les options de configuration d’Ollama dans Paramètres -> Modèle de langage, où vous pouvez configurer le proxy, le nom du modèle, etc.

Vous pouvez consulter Intégration avec Ollama pour en savoir plus sur le déploiement de LobeVidol afin de répondre aux besoins d’intégration avec Ollama.