Поиск по архиву сайтов
Наша команда работает над уникальным сервисом, сочетающим в себе возможности системы Веб-Архива (archive.org) и поисковой системы.
Наша команда работает над уникальным сервисом, сочетающим в себе возможности системы Веб-Архива (archive.org) и поисковой системы.
Опыт создания сервиса по восстановлению сайтов Archivarix позволил нам начать работу над чем-то большим.
Мы классифицируем и индексируем все извлекаемые данные, для того, чтобы их было удобно искать.
Данные не удаляются и хранятся в удобном формате для дальнейшей обработки.
Сохраненные сайты технически являются статическими. Такие инструменты как Archivarix CMS позволяют видеть и редактировать их в виде единого сайта, добавлять динамическую часть, совмещать данные разных сайтов и делать необходимую оптимизацию без владения техническими знаниями.
Начиная с запуска проекта восстановлений сайтов Archivarix в 2017 году мы паралелльно начали собирать данные живых сайтов.
Мы собрали и собираем исторические показатели различных метрик сайтов и информацию о доменах с 2009 года, которые обновляем каждый день.
Содержимое сайтов, которые мы обрабатываем для полнотекстового поиска и классификации содержимого начинается с 1996 года.
В нашей базе содержится информация по историческим данным боллее чем 350 миллионов доменов.
Количество задействованных серверов пауков и обработки Archivarix уже сейчас превышает 50.
Ежедневно наши серверы скачивают более 100GB содержимого сайтов из интернета.
Ежедневно мы собираем и анализируем порядка 50GB данных метрик по доменам и сайтам из различных источников. Ниже перечислены лишь некоторые из них.
Запустили свой собственный индекс обратных ссылок в 2010 году и на сегодняшний день их пауки обрабабывают до 8 миллиардов страниц в сутки.
Alexa Internet собирает статистику посещаемости сайтов, глобальном рейтинге и другую информацию с 1996 года. В 1999 году сервис купила компания Amazon.
Основан Брюстером Кейлом, который за несколько лет до этого создал компанию Alexa Internet. Сохраняет копии веб-страниц с 1996 года и архивирует различные форматы материала с предоставлением бесплатного доступа.
Компания, разрабатыващая и продающая сетевое оборудование. Но помимо этого предоставляет полезные данные в области безопасности, которые формирует из статистики своего оборудования.
Независимая международная компания, которая занимается регулирование доменных имён, IP-адресов и другими важными аспектами работы интернета.
Изначально с 2008 года назывался MajesticSEO и предоставляет много полезных инструментов для вебмастеров.
Сервис (изначально назывался SEOmoz) был основан в 2004 году как блог и онлайн сообщениство на тему поисковой оптимизации. Сейчас он предоставляет множество полезных инструментов для вебмастеров.
Американская компания, которая поддерживает два из тринадцати корневых сервисов DNS, а также управляет регистрами двух важнейших доменных зон в интернете .com и .net.