Векторизация, которая не роняет сервер на больших объёмах

Доступ к полному просмотру и файлам открыт только для активных участников ИИшенка Pro.

При векторизации тысяч файлов для RAG сервер n8n упирается в оперативную память и падает с ошибкой out of memory. За 5 минут разбирается, почему так происходит и как вынести тяжёлую обработку в sub workflow, чтобы память очищалась после каждого файла.

Чему научишься

Понимать, почему n8n хранит данные workflow в оперативной памяти и когда сервер падает с out of memory
Находить типичные причины проблем с памятью в документации Memory related errors: большой JSON и тяжёлые бинарные файлы
Делить данные на части и обрабатывать файлы по одному, а не всей пачкой
Выносить тяжёлые операции в sub workflow, который очищает память после завершения
Настраивать ноду Execute sub workflow внутри цикла и передавать в неё только нужные данные

Тайм-коды

00:00Проблема: сервер падает с ошибкой out of memory при работе с RAG
00:30Почему n8n хранит данные workflow в оперативной памяти
01:00Два пути: больше памяти или деление данных на части
01:30Классический сценарий: скачиваем файлы и векторизуем в цикле
02:00Документация n8n: Memory related errors
02:30Разбиение workflow на sub workflow и очистка памяти
03:00Схема: цикл с вызовом sub workflow
03:32Нода Execute sub workflow: выбор по ID или из списка
04:02Что принимать в sub workflow: accept all data или конкретные поля
04:32Возврат данных в родительский workflow и очистка памяти
05:03Итог: больше данных без линейной обработки в одном workflow

Проверяем доступ...