jouer avec l'IA localement

Ouais, c'est mal, ça crame des forêts, etc. J'ai honte.

Installer localement ce genre d'outile permet de faire tourner un modèle de langage à la maison. Donc on crame “sa” forêt. Ou on peut le mettre sur un serveur alimenté en solaire. Ça ne règle pas tous les problèmes éthiques que posent ce genre d'outil, loin de là, mais je veux jouer avec, donc : zut.

Il y a plusieurs trucs :

Ollama

Ollama est un “serveur”, sur lequel il faut télécharger des modèles (attention, ça peut être énorme). On va dialoguer avec via un client ensuite.

Une fois Ollama installé, il faut d'abord le démarrer :

ollama start

On fera un service si on le laisse tourner (cf doc).

Ensuite dans un autre terminal on va télécharger un modèle. La liste est sur la doc, mais je la remet ici triée par le “poids” du modèle.

Modèles Paramètres (en B) Taille Commande
Moondream 2 1,4 829MB ollama run moondream
Gemma 2 2 1.6GB ollama run gemma2:2b
Phi 3 Mini 3,8 2.3GB ollama run phi3
Mistral 7 4.1GB ollama run mistral
Neural Chat 7 4.1GB ollama run neural-chat
Starling 7 4.1GB ollama run starling-lm
Code Llama 7 3.8GB ollama run codellama
Llama 2 Uncensored 7 3.8GB ollama run llama2-uncensored
LLaVA 7 4.5GB ollama run llava
Llama 3.1 8 4.7GB ollama run llama3.1
Gemma 2 9 5.5GB ollama run gemma2
Solar 10,7 6.1GB ollama run solar
Phi 3 Medium 14 7.9GB ollama run phi3:medium
Gemma 2 27 16GB ollama run gemma2:27b
Llama 3.1 70 40GB ollama run llama3.1:70b
Llama 3.1 405 231GB ollama run llama3.1:405b

Parce que “Vous devez disposer d'au moins 8 Go de RAM disponible pour exécuter les modèles 7B, 16 Go pour exécuter les modèles 13B et 32 Go pour exécuter les modèles 33B.”. Donc suivant la machine, faut éviter de voir trop gros…

Donc c'est parti pour

ollama run codellama

Ça ne charge pas derrière une ligne adsl… Avec la fibre par contre ça va bien.

Dossiers d'Ollama

/usr/local/bin/ollama
/usr/local/lib/ollama/
/usr/share/ollama/
/home/MOI/.ollama

Les modèles sont stockés dans /home/MOI/.ollama/models.

 Ce texte est placé sous licence CC0

CC Attribution-Noncommercial-Share Alike 4.0 International Driven by DokuWiki
pratique/informatique/ia_ollama.txt · Dernière modification : 04/10/2024 13:40 de Zatalyz