Тема 8 — Основа RAG и векторизация данных

8️⃣ Тема 8 — Основа RAG и векторизация данных

В этом видео вы узнаете, как построить RAG-пайплайн в N8N: от пояснения теории векторизации до загрузки собственных данных в Pinecone.

Мы разберём, зачем разбивать документы на чанки, как получить эмбеддинги через OpenAI и сохранить их в векторную базу для будущих ответов нейросети.

Завершим урок практическим прогоном сценария: создадим индекс, разобьём текст и убедимся, что в Pinecone лежат и кусочки текста, и их векторы.

Тайм-коды:

00:09 Почему RAG — самая продвинутая часть мастер-класса

00:18 Что означает Retrieval Augmented Generation

00:33 Матрицы и числовое представление текста

00:48 Как векторизация помогает нейронкам понимать документы

00:56 Проблема длинных текстов и ограничение контекста

01:35 Концепция чанков и идея overlap

02:07 Преобразование каждого чанка в вектор

02:22 Что хранится в векторной базе: текст и метаданные

02:49 Как вопрос пользователя превращается в вектор

03:27 Поиск ближайших векторов и подбор контекста

03:58 Возврат текста в контекст нейронки и генерация ответа

04:20 Переход к практике в N8N

04:34 Подготовка тестового текста через ноду Set/Edit Fields

05:14 Почему кастомные данные полезны для теста

05:26 Зачем нужна векторная база и какие бывают варианты

05:50 Выбор Pinecone как быстрого бесплатного решения

06:03 Регистрация в Pinecone и прохождение анкеты

06:37 Получение API-ключа и добавление его в N8N

06:50 Нода Pinecone Vector Store и режим Add Documents

07:27 Создание первого индекса в Pinecone

07:53 Выбор модели text-embedding-3-small

08:28 Обновление списка индексов в N8N

08:48 Указание модели эмбеддингов в настройках ноды

09:12 Добавление Text Data Loader и зачем он нужен

09:33 Просмотр исходного текста перед загрузкой

09:44 Настройка Data Loader и выбор типа разбиения

10:00 Кастомный splitter: длина чанка 100 символов без overlap

10:49 Первый запуск и замечание про размерность вектора

11:02 Создание нового индекса с размерностью 1536

11:36 Переподключение ноды к новому индексу

11:47 Повторный запуск всего workflow

11:54 Результат Data Loader: список подготовленных чанков

12:11 Результат модели эмбеддингов: массивы чисел-векторов

12:19 Проверка Pinecone: поиск и просмотр записей

12:45 Просмотр текста и соответствующих векторов в интерфейсе

13:14 Что делать дальше: использовать поиск и отдавать контекст нейронке