Différences

Ci-dessous, les différences entre deux révisions de la page.

--- pratique:informatique:ia_ollama [08/08/2025 08:57] – Zatalyz
+++ pratique:informatique:ia_ollama [31/08/2025 11:46] (Version actuelle) – retours des modèles Zatalyz
@@ Ligne 2: / Ligne 2: @@
 Ouais, c'est mal, ça crame des forêts, etc. J'ai honte.
-Installer localement ce genre d'outile permet de faire tourner un modèle de langage à la maison. Donc on crame "sa" forêt. Ou on peut le mettre sur un serveur alimenté en solaire. Ça ne règle pas tous les problèmes éthiques que posent ce genre d'outil, loin de là, mais je veux jouer avec, donc : zut.
+Installer localement ce genre d'outil permet de faire tourner un modèle de langage à la maison. Donc on crame "sa" forêt. Ou on peut le mettre sur un serveur alimenté en solaire. Ça ne règle pas tous les problèmes éthiques que posent ce genre d'outil, loin de là, mais je veux jouer avec, donc : zut.
 Il y a plusieurs trucs :
   * https://github.com/ollama/ollama/blob/main/docs/linux.md
+    * Ollama est un peu l'outil par défaut pour tester. Pour une interface "graphique", Hollama offre une sorte de page web locale.
   * https://github.com/mudler/LocalAI
   * Autres ?
@@ Ligne 80: / Ligne 81: @@
 Si on ne veut pas installer Ollama "ailleurs", et juste récupérer des modèles sur une clé usb dans un coin avec une bonne connexion, il faut viser les format GGUF.
-On copie les GGUF dans ''~/.ollama/models/'', puis on va donner quelques variables dans le terminal (exemple sur phi-3). Renseigner la température rendrait les réponses moins aléatoires.
+On copie les GGUF dans ''~/.ollama/models/'', puis on va donner quelques variables dans un fichier texte (exemple sur phi-3). Renseigner la température rendrait les réponses moins aléatoires.
-<code>
+<code txt ~/.ollama/models/phi3-modelfile>
 FROM ~/.ollama/models/phi-3.Q4_K_M.gguf
 PARAMETER temperature 0.7
@@ Ligne 90: / Ligne 91: @@
   ollama create phi3 -f phi3-modelfile
+Si on utilise le même nom de modèle (phi3 ici), cela le met à jour.
 ==== Dossiers d'Ollama ====
 <code>/usr/local/bin/ollama
@@ Ligne 97: / Ligne 99: @@
 Les modèles sont stockés dans ''/home/MOI/.ollama/models''.
+==== Commandes de base ====
+Lance le serveur manuellement :
+  ollama serve
+Lister le modèles chargés localement :
+  ollama list
+Supprimer un modèle (les sha du blob) :
+  ollama rm nom_du_modele
+===== Retour sur les modèles =====
+Étant donné mon ordi, je suis limitée aux modèles 7B, ce qui est "peu". Peut-on avoir de bons résultats avec ça en français ? ça dépend vraiment des attentes.
+  * C'est lent.
+  * Plusieurs modèles baragouinent un français très inventif. Les résultats sont sans doute meilleurs en anglais, mais en français, c'est pas français justement.
+  * La qualité des réponses n'est pas si mauvaise en agent conversationnel, dans les modèles qui répondent.
+''Mistral-7B-Instruct-v0.3-Q4_K_M'' et ''Nous-Hermes-2-Mistral-7B-DPO.Q4_K_M'' font des réponses dans un français correct (le dernier me fait quelques mélanges à l'occasion quand même), et offrent une réponse avec une certaine cohérence. Les autres sont à jeter...
+Pour le code, je n'ai pas encore testé, mais vu le niveau sur des demandes de recettes de cuisine ou de chansons (potables mais pas au top), je crains un peu ce que ça donnerait sur l'écriture de fonctions ; ça suffit sans doute pour trouver quelques hooks.
 {{tag>Informatique}}