Как парсить сайты с авторизацией (401 Unauthorized) в Screaming Frog?
Иногда возникают сложности с парсингом сайтов, которые придумывают различные элементы защиты от парсинга, делимся наработками. 1.Берем Cookie Переходим на главную страницу сайта, который хотим спарсить. Открываем консоль браузера (F12) и переходим во вкладку “Сеть” (Network). Обновляем страницу, кликаем на фильтр “Doc” и в столбце “Name” ...
