Делим юридические документы на чанки строго по статьям для RAG

Доступ к полному просмотру и файлам открыт только для активных участников ИИшенка Pro.

Юридический документ с жёсткой иерархией (главы, статьи, пункты) нужно нарезать на чанки так, чтобы текст не пересекался, а в метаданных были номер и название статьи и номер пункта. За 8 минут разбирается воркфлоу в n8n с кодом на регулярных выражениях и векторизацией чанков вместе с метаданными.

Чему научишься

Забирать файл из Google Drive и доставать из него сырой текст, а для PDF без текстового слоя использовать распознавание через Mistral
Нарезать документ на чанки строго по границам статей и пунктов, без пересечений текста
Писать регулярные выражения для поиска статей и пунктов с разным форматом нумерации
Адаптировать готовый код под свой документ, отдав нейросети код и PDF-файл
Векторизовать чанки, передавая в метаданные номер статьи, её название и номер пункта

Тайм-коды

00:00Зачем резать документ на кастомные чанки с метаданными
00:30Структура документа: главы, статьи, пункты
01:30Почему нужен код под каждый тип документа
02:02Получение файла из Google Drive и извлечение текста
02:33Принцип работы кода: страницы и регулярные выражения
03:34Как регулярки находят статьи и пункты
04:34Адаптация регулярок под свой документ с помощью нейросети
05:34Динамические регулярки и практика на значимых документах
06:35Нарезка текста: 84 элемента с названиями статей и пунктами
07:35Векторизация с передачей метаданных в чанк
08:06Итог: парсер под границы пунктов и обогащённые чанки

Проверяем доступ...