Содержание11
Парсинг сайтов — это автоматический сбор данных со страниц в таблицу или базу: программа запрашивает страницу, разбирает разметку и забирает нужные поля. Технически он ничем не отличается от обычного запроса. Юридически решает другое: что именно собирают — факты, тексты, базу данных целиком или сведения о людях.
Что такое парсинг сайтов
Парсинг сайта — автоматическое извлечение данных из страниц по заданным правилам. Программу-парсер настраивают на адреса и на места в разметке: название товара лежит в одном теге, цена в другом, отзыв в третьем. Дальше она обходит страницы и складывает найденное в таблицу или базу.
Работа идёт в три шага: парсер запрашивает страницу, получает HTML и вырезает нужные поля. От поискового робота его отличает цель. Робот поисковой системы собирает страницы для индекса. Парсер собирает поля под вашу задачу: сверить ассортимент, найти темы, которых нет на вашем сайте, собрать формулировки отзывов.
Есть и путь без парсинга: выгрузка, которую сайт отдаёт сам, — файл, API, открытый набор данных. Если она есть, парсер не нужен. Парсинг понадобится там, где выгрузки нет, а данные открыты на страницах.
Что собирают с сайтов конкурентов
Чаще всего парсят то, что видно любому посетителю: структуру разделов, заголовки, карточки товаров, цены, наличие, отзывы. У каждого типа данных свой правовой профиль, и его удобно сверить с таблицей до того, как настраивать парсер.
| Что собирают | Зачем | Что проверить заранее |
|---|---|---|
| Разделы, заголовки, адреса страниц | Найти темы и страницы, которых нет у вас | robots.txt и нагрузка на сайт |
| Цены, наличие, сроки | Сверить своё предложение с рынком | Отдельные факты не охраняются авторским правом, но подборка может оказаться базой данных (ГК РФ, ст. 1334) |
| Описания товаров и статьи | Понять, как конкуренты объясняют товар | Тексты — объекты авторских прав (ГК РФ, ст. 1259) |
| Имена, телефоны и почта из отзывов и контактов | Иногда — списки для рассылки | Персональные данные (152-ФЗ) |
Для анализа конкурентов хватает первых двух строк, и то в ограниченном объёме. Как строится сам анализ — какие сайты брать, что сравнивать, как оформлять выводы, — разобрано в статье Анализ конкурентов: как исследовать сайты соперников.
Что значит robots.txt для парсера?
Robots.txt — файл в корне сайта, где владелец сообщает роботам, какие страницы не обходить. Яндекс описывает его как текстовый файл с параметрами индексирования сайта для роботов поисковых систем. Стандарт RFC 9309, который фиксирует формат файла, называет эти правила тем, что роботов просят соблюдать при обращении к адресам. И сразу уточняет, чем они не являются.
Факт. Стандарт robots.txt прямо говорит: «These rules are not a form of access authorization» — правила не служат формой авторизации доступа.
Отсюда два вывода. Первый: чужой robots.txt нужно прочитать до запуска парсера. Это самый прямой сигнал о том, какие разделы владелец не хочет отдавать роботам. Второй: файл не работает как замок. Сам Яндекс предупреждает, что страницы, ограниченные в robots.txt, могут участвовать в поиске.
Разрешения на сбор в файле тоже нет. Если запретов в нём не нашлось, это не значит, что базу можно забирать целиком: права на неё регулирует Гражданский кодекс. Как устроен сам файл и как его проверить, описано в материале Файл robots.txt: что в нём писать и как проверить.
Как не перегрузить чужой сайт?
Парсер, который шлёт запросы без пауз, нагружает чужой сервер так же, как плохо настроенный робот. Владелец увидит всплеск обращений в логе и может закрыть доступ. Поэтому скорость сбора задают сами: пауза между запросами, один поток на домен, остановка при ошибках сервера.
Сигнал о перегрузке — ответ с кодом 429. Яндекс описывает его так: сервер сообщает о затруднениях с нагрузкой, и робот уменьшает число обращений. Парсеру стоит вести себя так же: получил 429 — замедлился и подождал, а не повторил запрос.
На директиву Crawl-delay при настройке своего парсера можно ориентироваться как на пожелание владельца, но не как на правило поисковых систем. Яндекс перестал её учитывать и задаёт скорость обхода в Вебмастере. Если эта строка есть в чужом robots.txt, она показывает, какой темп владелец считает приемлемым.
Данные, тексты и база данных по ГК РФ
ГК РФ не знает слова «парсинг», но описывает то, что парсер забирает. Нормы разбираются по типам данных.
- Факты — авторские права на них не распространяются: статья 1259 называет факты в одном ряду с идеями, методами и открытиями.
- Тексты — объектами авторских прав названы произведения науки, литературы и искусства независимо от достоинств и назначения. Копирование чужих описаний в свой каталог остаётся отдельным вопросом, парсер его не снимает.
- Подборка — составным произведением считается то, что по подбору или расположению материалов результат творческого труда.
- База данных — совокупность самостоятельных материалов, систематизированных так, чтобы их можно было найти и обработать с помощью ЭВМ (статья 1260).
Для парсинга главная норма — статья 1334. Изготовителю базы данных, создание которой требует существенных затрат, принадлежит исключительное право извлекать из неё материалы и использовать их в любой форме и любым способом. Извлечение кодекс определяет как перенос всего содержания базы или существенной части материалов на другой носитель любыми техническими средствами. Никто не вправе извлекать материалы без разрешения правообладателя, кроме случаев, предусмотренных кодексом.
Факт. По ГК РФ базой данных, создание которой требует существенных затрат, при отсутствии доказательств иного признаётся база, содержащая не менее десяти тысяч самостоятельных информационных элементов.
Мнение. Если задача — выгрузить каталог конкурента целиком, она совпадает с описанием извлечения из статьи 1334, и без юриста её запускать не стоит. Выборка для сравнения нескольких позиций — другая задача, но границу «существенной части» проводит юрист, а не владелец парсера.
Статья пересказывает текст норм. Применить их к конкретному сайту и объёму данных может юрист по интеллектуальной собственности.
Персональные данные по 152-ФЗ
Если на странице есть сведения о конкретном человеке, к сбору подключается 152-ФЗ. Закон определяет персональные данные как любую информацию, относящуюся к прямо или косвенно определённому или определяемому физическому лицу. Имя автора отзыва, телефон в карточке специалиста, почта в контактах могут подойти под это определение, если по ним можно определить человека.
Сбор входит в само понятие обработки: закон перечисляет «сбор, запись, систематизацию, накопление, хранение» и другие действия. В статье 6 в числе случаев, когда обработка допускается, первым назван случай с согласием субъекта на обработку его данных.
На практике это решается составом полей. Парсер по умолчанию часто забирает «всё подряд». Если задаче нужны цены и заголовки, поля с именами, телефонами и почтой исключают при настройке, а не чистят потом. Что закон требует от владельца собственного сайта, описано в статье Защита персональных данных на сайте: что обязан сделать владелец по 152-ФЗ.
Страницы за логином
Открытые страницы и страницы за авторизацией — разные ситуации. Если данные видны только после входа, а для сбора нужны чужой логин, обход защиты или подбор паролей, речь уже не об обычном парсинге. Статья 272 УК РФ устанавливает ответственность за неправомерный доступ к охраняемой законом компьютерной информации, если это деяние повлекло копирование информации.
Подпадает ли конкретный сбор под такой доступ, определяет не автор парсера, а суд. Поэтому здесь действует простое правило: данные за логином собирают только по договорённости с владельцем ресурса, например через его API или файл выгрузки. Если договориться не удалось, это сигнал остановиться, а не искать обход.
Что проверить перед запуском?
Перед первым запуском пройдите по списку. Каждый пункт отсекает свой класс проблем.
- Цель — какие именно поля нужны для задачи; всё остальное не собирайте.
- Выгрузка — нет ли у сайта файла, API или открытого набора данных, который отдаёт то же самое.
- robots.txt — прочитайте его и учтите закрытые разделы и заявленный темп.
- Состав данных — нет ли в полях имён, телефонов, почты; не равен ли замысел выгрузке всего каталога.
- Нагрузка — пауза между запросами, один поток на домен, остановка и ожидание после ответа 429.
- Доступ — только открытые страницы, без чужих учётных данных.
- Юрист — если собираете каталог, подборку или базу данных, покажите план юристу до запуска.
С чего начать
Для большинства задач по конкурентам парсер не нужен. Откройте пять-семь сайтов, выпишите разделы, типы страниц и заголовки в таблицу руками, и вы увидите, где у вас пробелы. Данные при этом остаются понятными: вы знаете, откуда каждая строка.
Если нужен не массив данных, а вывод — чем конкуренты сильнее и что исправить у вас, — оставьте заявку на SEO-аудит сайта: обсудим задачу и данные, которые для неё нужны.
Источники
- ГК РФ, статья 1334. Исключительное право изготовителя базы данных — КонсультантПлюс
- ГК РФ, статья 1259. Объекты авторских прав — КонсультантПлюс
- ГК РФ, статья 1260. Составные произведения — КонсультантПлюс
- 152-ФЗ, статья 3. Основные понятия — КонсультантПлюс
- 152-ФЗ, статья 6. Условия обработки персональных данных — КонсультантПлюс
- УК РФ, статья 272. Неправомерный доступ к компьютерной информации — КонсультантПлюс
- RFC 9309. Robots Exclusion Protocol — IETF
- Использование файла robots.txt — Яндекс
- Директива Crawl-delay — Яндекс
- Как снизить нагрузку на сайт или сервер — Яндекс
