Парсим интернет: проходим капчи и формы

Доступ к полному просмотру и файлам открыт только для активных участников ИИшенка Pro.

Разбираем, как автоматически входить на сайты за логином и забирать оттуда данные с помощью AgentQL, Playwright и небольшого Python-скрипта. На примере HeadHunter за 23 минуты проходим путь от запроса к странице до JSON-файла с вакансиями.

Чему научишься

Получать API-ключ AgentQL и ставить расширение для Chrome, чтобы тестировать запросы прямо на странице
Писать запросы AgentQL, которые находят на странице нужные элементы и возвращают данные в виде массива
Различать Fetch Data и Fetch Web Elements: данные для анализа или объекты, по которым можно кликать
Настраивать Python-проект: виртуальное окружение, файл .env с ключом и паролями, установка agentql и Playwright
Писать скрипт, который открывает управляемый браузер, проходит форму входа и сохраняет вакансии в JSON

Тайм-коды

00:00Вступление: от простых способов парсинга к логинам и формам
01:00AgentQL: что за сервис и зачем нужен код
02:30Демо: скрипт сам входит на HeadHunter и собирает вакансии
04:30Ключ API и расширение AgentQL для Chrome
06:00Первый запрос: ищем названия вакансий на странице
08:40Fetch Data и Fetch Web Elements: данные и кликабельные объекты
10:00Задача: пройти вход по шагам
11:30Подготовка проекта: папка, окружение, файл .env
13:40Установка AgentQL и Playwright, команда init
15:20Запросы для кнопок и полей формы входа
19:10Разбор кода скрипта шаг за шагом
22:15Запуск, исправление ошибки и результат

Проверяем доступ...