Ouais, c'est mal, ça crame des forêts, etc. J'ai honte.

Installer localement ce genre d'outile permet de faire tourner un modèle de langage à la maison. Donc on crame “sa” forêt. Ou on peut le mettre sur un serveur alimenté en solaire. Ça ne règle pas tous les problèmes éthiques que posent ce genre d'outil, loin de là, mais je veux jouer avec, donc : zut.

Il y a plusieurs trucs :

• https://github.com/ollama/ollama/blob/main/docs/linux.md
• https://github.com/mudler/LocalAI
• Autres ?

Ollama est un “serveur”, sur lequel il faut télécharger des modèles (attention, ça peut être énorme). On va dialoguer avec via un client ensuite.

Une fois Ollama installé, il faut d'abord le démarrer :

ollama start

On fera un service si on le laisse tourner (cf doc).

Ensuite dans un autre terminal on va télécharger un modèle. La liste est sur la doc, mais je la remet ici triée par le “poids” du modèle.

| Moondream 2 | 1,4 | 829MB | ollama run moondream | | Gemma 2 | 2 | 1.6GB | ollama run gemma2:2b | | Phi 3 Mini | 3,8 | 2.3GB | ollama run phi3 | | Mistral | 7 | 4.1GB | ollama run mistral | | Neural Chat | 7 | 4.1GB | ollama run neural-chat | | Starling | 7 | 4.1GB | ollama run starling-lm | | Code Llama | 7 | 3.8GB | ollama run codellama | | Llama 2 Uncensored | 7 | 3.8GB | ollama run llama2-uncensored | | LLaVA | 7 | 4.5GB | ollama run llava | | Llama 3.1 | 8 | 4.7GB | ollama run llama3.1 | | Gemma 2 | 9 | 5.5GB | ollama run gemma2 | | Solar | 10,7 | 6.1GB | ollama run solar | | Phi 3 Medium | 14 | 7.9GB | ollama run phi3:medium | | Gemma 2 | 27 | 16GB | ollama run gemma2:27b | | Llama 3.1 | 70 | 40GB | ollama run llama3.1:70b | | Llama 3.1 | 405 | 231GB | ollama run llama3.1:405b | Parce que “Vous devez disposer d'au moins 8 Go de RAM disponible pour exécuter les modèles 7B, 16 Go pour exécuter les modèles 13B et 32 Go pour exécuter les modèles 33B.”. Donc suivant la machine, faut éviter de voir trop gros…

Donc c'est parti pour

ollama run codellama