O robocie SiteRefactorBot

Czym jest

SiteRefactorBot to zautomatyzowany klient, którego SiteRefactor używa do analizy strony, gdy odwiedzający poda jej adres. Analiza obejmuje wyłącznie publiczne sygnały: jakich technologii używa strona, jaką strukturę mają jej podstrony, podstawy SEO, HTTPS i nagłówki bezpieczeństwa. Na podstawie wyników powstaje raport z opcjami migracji i orientacyjnymi kosztami.

Robot nie działa w sposób ciągły i nie buduje indeksu wyszukiwania. Odwiedza stronę tylko wtedy, gdy ktoś zleci jej analizę. Tę samą stronę można przeanalizować tylko ograniczoną liczbę razy w krótkim czasie (domyślnie trzy analizy jednej strony na dziesięć minut).

Identyfikator (user agent)

Robot przedstawia się w żądaniach następującym identyfikatorem user agent:

Mozilla/5.0 (compatible; SiteRefactorBot/1.0; +https://siterefactor.com/bot)

Nazwa (token) robota w pliku robots.txt to SiteRefactorBot.

Co pobiera

Plik robots.txt, jako pierwszy, aby sprawdzić, czy może kontynuować i których ścieżek powinien unikać.
Stronę główną, w tym nagłówki odpowiedzi i szczegóły połączenia HTTPS/TLS. Jedno dodatkowe żądanie sprawdza, czy zwykły HTTP przekierowuje na HTTPS.
Mapę strony XML (sitemap), aby oszacować liczbę podstron i znaleźć adresy URL.
Do 20 podstron wewnętrznych na analizę, znalezionych w linkach na stronie głównej, w nawigacji i w mapie strony.
Jedno renderowanie strony głównej w przeglądarce bez interfejsu graficznego (headless Chromium) uruchomionej w izolowanym środowisku (sandbox), aby wykryć frameworki JavaScript i wykonać zrzut ekranu. Przeglądarka wczytuje skrypty, style i obrazy strony podobnie jak przeglądarka odwiedzającego, w ramach stałego limitu żądań i z zablokowanym pobieraniem plików audio i wideo. Startuje bez plików cookie i zapisanych danych.

Nagłówki bezpieczeństwa i ustawienia HTTPS są sprawdzane pasywnie, przez odczyt odpowiedzi na te zwykłe żądania.

Czego nigdy nie robi

Wysyła wyłącznie żądania GET i nigdy nie wysyła formularzy. Podczas jednorazowego renderowania strony głównej własne skrypty Twojej strony działają tak, jak u każdego odwiedzającego, ale każde żądanie, które próbują wysłać, inne niż GET, HEAD lub OPTIONS (np. beacony POST lub wysłanie formularza), jest blokowane w izolowanym środowisku, zanim opuści naszą infrastrukturę.
Nigdy się nie loguje, nie zakłada kont i nie uzyskuje dostępu do treści wymagających uwierzytelnienia.
Nigdy nie próbuje obchodzić zabezpieczeń przed botami, CAPTCHA ani blokad płatnych treści (paywalli). Jeśli strona go zablokuje, raport o tym informuje.
Nie skanuje portów i nie szuka podatności.
Nie analizuje prywatnych ani zarezerwowanych adresów sieciowych.

Tempo żądań

Najwyżej 2 równoczesne żądania do Twojej strony.
Co najmniej około 400 ms między żądaniami.
Dyrektywa Crawl-delay jest respektowana do 5 sekund. Jeśli ustawisz opóźnienie większe niż 3 sekundy, analiza obejmie też mniej podstron (najwyżej 10).
Każda analiza ma łączny limit czasu, po którego upływie pobieranie stron zostaje przerwane.

Blokowanie lub ograniczanie robota

Aby całkowicie wyłączyć analizy swojej strony, dodaj do pliku robots.txt:

User-agent: SiteRefactorBot
Disallow: /

Jeśli strona główna jest zablokowana regułą Disallow, sprawdzanie podstron jest całkowicie pomijane, a raport wyjaśnia dlaczego. Tak samo dzieje się, gdy plik robots.txt zwraca błąd serwera (5xx). Jeśli nie ma grupy dla SiteRefactorBot, obowiązują reguły z grupy User-agent: *.

Aby wykluczyć tylko wybrane sekcje albo spowolnić robota:

User-agent: SiteRefactorBot
Disallow: /internal/
Crawl-delay: 2

Zablokowane adresy URL są pomijane, a raport podaje, ile z nich pominięto.

Żądania PageSpeed Insights

Wyniki wydajności pochodzą z Google PageSpeed Insights. Google pobiera stronę osobno, z użyciem własnej infrastruktury i własnego identyfikatora user agent. Te żądania nie pochodzą od SiteRefactorBot, więc reguły robots.txt dla SiteRefactorBot ich nie dotyczą. Podlegają zasadom Google dotyczącym tej usługi.

Kontakt

Jeśli uważasz, że robot działa nieprawidłowo, lub chcesz zgłosić nadużycie, napisz na adres biuro@gacode.pl i podaj domenę, której to dotyczy, oraz przybliżony czas żądań. Nasz robot i jego przeglądarka łączą się z adresu IP 54.36.162.208. Testy PageSpeed wykonuje Google z własnej infrastruktury Google. Więcej o tym, jak przetwarzamy dane, przeczytasz w naszej Polityce prywatności.