Парсер сайтов из веб архива

Archive-Master v0.0.1 — программа для создания локальных копий сайтов из интернет-архива

Archive-Master v0.0.1 представляет собой специализированное программное решение, предназначенное для автоматического восстановления сайтов на основе сохранённых копий из веб-архива. Утилита позволяет загружать исторические версии страниц за выбранный временной промежуток и формировать полноценную локальную копию ресурса. Такой подход делает программу полезной для анализа структуры сайтов, резервного хранения данных, SEO-аудита и изучения ранее опубликованного контента.

Главная особенность Archive-Master заключается в полной автоматизации процесса получения данных. Пользователю необходимо лишь указать доменное имя и временной диапазон поиска, после чего программа самостоятельно обнаруживает доступные архивные снимки страниц, загружает их и восстанавливает структуру сайта на компьютере. В результате формируется офлайн-версия ресурса, содержащая HTML-страницы, изображения, таблицы стилей и JavaScript-файлы.

Перед началом работы предусмотрена система авторизации, ограничивающая доступ к программе. После успешного входа пользователь вводит адрес сайта без указания протокола, а также начальную и конечную даты поиска в формате ГГГГММДД. На основании этих данных выполняется поиск подходящих архивных копий.

Далее автоматически создаётся рабочая директория OFFLINE_SITE, внутри которой формируется каталог assets для хранения всех сопутствующих файлов. После подготовки структуры начинается последовательное сканирование сайта: стартовая страница становится отправной точкой, а найденные внутренние ссылки помещаются в очередь для последующей обработки.

Во время обработки каждой страницы программа выполняет комплекс операций:

обращается к сервису веб-архива для поиска наиболее подходящей архивной версии страницы за указанный период;
получает HTML-код найденного снимка;
очищает документ от ненужных элементов, включая отдельные скрипты и iframe;
автоматически загружает связанные изображения, CSS-файлы и JavaScript, сохраняя их в локальной папке;
изменяет внутренние ссылки таким образом, чтобы все страницы и ресурсы корректно открывались без подключения к сети.

Каждый обработанный документ сохраняется в виде отдельного HTML-файла, а структура каталогов максимально повторяет оригинальный сайт. Для повышения эффективности программа ведёт список уже обработанных страниц, исключая повторное скачивание одинаковых материалов и предотвращая бесконечный обход ссылок.

Для повышения надёжности реализован механизм повторных попыток загрузки. Если при обращении к серверу возникают временные ошибки или сетевые сбои, программа автоматически выполняет повторный запрос. Дополнительные паузы между обращениями помогают снизить вероятность ограничений со стороны удалённого сервиса и обеспечивают более стабильную работу.

По завершении обработки пользователь получает полностью готовую офлайн-копию сайта, которую можно открыть в любом современном браузере без доступа к интернету. Archive-Master станет полезным инструментом для SEO-специалистов, веб-разработчиков, администраторов сайтов, исследователей и всех, кто работает с архивными версиями интернет-ресурсов.

Программа значительно упрощает процесс восстановления исторических данных, позволяя быстро преобразовать архивные снимки в полноценную локальную копию сайта, пригодную для дальнейшего анализа, хранения и использования.