Et si l'IA la plus utile était celle qui ne quitte jamais ta machine ?

Dans [mon article sur la souveraineté numérique](/blog/pourquoi-scaleway-souverainete), j'expliquais pourquoi je rapatriais mon infra chez un hébergeur français. La suite logique, c'est l'IA : une partie de ma stack d'assistance au dev tourne désormais 100% en local, sur mon propre matériel, sans jamais envoyer une ligne de code dans le cloud.

Pourquoi faire ça

Deux raisons, la même que pour l'hébergement :

  • Confidentialité : quand l'IA lit du code propriétaire, ce code ne doit pas transiter par un service tiers. En local, aucune donnée ne sort de la machine.
  • Souveraineté & résilience : pas de dépendance à une API distante qui peut changer de prix, de conditions, ou être coupée. Ça marche même hors-ligne, dans le train.

Ce que ça donne techniquement

Une stack d'inférence on-device sur GPU/NPU AMD :

  • Ollama avec des modèles de code (type qwen2.5-coder) pour la complétion et les questions rapides
  • Des embeddings sémantiques locaux (nomic-embed / MiniLM) + un index vectoriel (ChromaDB) pour chercher dans ma base de connaissances
  • Intégration éditeur via Continue.dev, branché sur Ollama

Zéro latence réseau, zéro facture au token, zéro fuite.

Le bon dosage

Je ne suis pas dogmatique : pour les tâches lourdes, j'utilise toujours les grands modèles cloud. Mais tout ce qui touche au code sensible et au quotidien passe en local. C'est exactement la même logique que la migration Scaleway : ce qui peut être souverain le devient, le reste est un choix assumé.

L'IA locale n'est plus un jouet de bricoleur. Sur une machine correcte, c'est devenu un outil de travail sérieux — et rassurant.