Ollama

Інструмент для запуску open-source LLM на власному залізі. Для Віктора головне — приватність, а не економія: він ганяє локальні моделі через Ollama з плагіном для редактора саме для того, щоб приватний код ніколи не потрапляв на публічні сервери (Q&A №2) — його десктоп із 3090 (огляд робочого місця) робить це цілком практичним. У нього є повний порівняльний звіт про локальні моделі, який він, можливо, опублікує; спойлери поки невтішні — локальні дистиляти DeepSeek R1 аж до 70B провалюють його бенчмарк із бінарним пошуком у файлі, а малі моделі (≤14B), запущені як агенти через Cline, показали себе «трешово» (вайб-кодинг, частина 2).