Как установить свою Fine Tuned модель в Ollama и n8n локально

Доступ к полному просмотру и файлам открыт только для активных участников ИИшенка Pro.

Разбор пути от дообученной модели до рабочего чата в n8n: как собрать GGUF-файл, подключить его к Ollama в Docker и выбрать модель в ноде агента. За 11 минут показаны все шаги на реальном примере.

Чему научишься

Понимать, что файнтюнинг создаёт LoRA-адаптеры, которые сливаются с весами исходной модели, а не меняют её
Собирать модель в формате GGUF командой из пакета Unsloth и учитывать нехватку RAM в бесплатном Google Colab
Пробрасывать папку с моделью в контейнер Ollama через volume в Docker Compose
Создавать Modelfile и регистрировать модель командой ollama create
Выбирать свою модель в ноде Ollama агента n8n и задавать ей вопросы через стандартный чат

Тайм-коды

00:00Зачем подключать свою дообученную модель к n8n
01:00Как работают LoRA-адаптеры
02:00Сборка модели в формат GGUF
03:00Проблема нехватки RAM в Google Colab
04:30Скачивание GGUF и запуск в Docker
05:20Проброс папки в контейнер Ollama через volume
07:30Создание Modelfile через терминал
08:35Проверка списка моделей: ollama list
09:10Переход в нужную папку командами cd и ls
10:05Регистрация модели командой ollama create
10:37Выбор модели в ноде Ollama в n8n и тест

Проверяем доступ...