Definicja i granice
Status HTTP informuje crawler, co stało się z żądanym zasobem. 200 oznacza dostępny dokument, 301 trwałe przekierowanie, 404 brak dokumentu, a 403 odmowę dostępu. Granicą tego pojęcia jest jego funkcja w całym pipeline AI Search. Nie należy rozszerzać go na obszary, które mają inną rolę techniczną lub decyzyjną.
Pierwsza perspektywa
- 403 dla crawlera może wykluczyć stronę z procesu.
Druga perspektywa
- Soft 404 nie zastępuje prawdziwego 404.
- Zasoby CSS i SVG też powinny zwracać poprawne statusy.
Co sprawdzić na produkcji
Najważniejsze testy wykonujemy na rzeczywistym adresie produkcyjnym: status HTTP, finalny URL, canonical, robots, sitemap, CSS/JS/SVG, 404, przekierowania i zachowanie w czystej sesji. Indeks Google nie zastępuje audytu wdrożenia.
Najczęstszy błąd
Warstwa aplikacyjna może być poprawna lokalnie, a hosting lub WAF może zwracać 403 wybranym crawlerom. Dlatego trzeba oddzielać błędy HTML od błędów infrastruktury i testować różne user-agenty oraz ścieżki dostępu.
Jak wykorzystać to pojęcie w praktyce?
W kontekście „Statusy HTTP — najprostszy język dostępności” najważniejsze jest, aby przekazywać jednoznaczny stan zasobu poprzez poprawne kody 200, 301, 404 lub 410. Warstwa techniczna określa, czy robot może pobrać właściwy URL, odczytać zasadniczą treść, rozpoznać wersję kanoniczną i wracać do aktualnego dokumentu. Każdy sygnał powinien być zgodny: kod HTTP, canonical, mapa strony, linki wewnętrzne i dyrektywy robots nie mogą wskazywać różnych wersji.
Przykład i sposób weryfikacji
Jeśli link prowadzi do adresu ze slashem, canonical do pliku .html, a sitemap zawiera jeszcze trzeci wariant, system otrzymuje sprzeczne instrukcje. Poprawne wdrożenie wybiera jeden adres, kieruje pozostałe warianty przez 301 i używa wybranej wersji wszędzie.
Granice interpretacji
Dostępność dla crawlera nie gwarantuje indeksowania ani wykorzystania w AI. Technika usuwa blokady, natomiast o użyciu dokumentu nadal decydują trafność, jakość, dowody i konkurencyjne źródła.
Wniosek dotyczący „Statusy HTTP — najprostszy język dostępności” powinien wskazywać, co rzeczywiście zaobserwowano, czego nie da się potwierdzić oraz jaki następny test może rozstrzygnąć wątpliwość. Taka forma chroni czytelnika przed pozorną pewnością i pozwala wykorzystać dokument jako część powtarzalnej metodologii AI Search.
Co sprawdzić dalej?
Ten dokument jest częścią spójnego modelu AI Search. Kolejny krok zależy od tego, czy problem dotyczy query processing, retrieval, encji, źródeł, architektury czy pomiaru.