X-Robots-Tag: noindex für */new #74
Description
As a search engine, I want to detect the HTTP header "X-Robots-Tag: noindex" for all pages that require login, so that I can avoid indexing restricted content and provide more relevant search results for users.
background: Google search error for https://www.zitat-service.de/categories/new
An den Inhaber von zitat-service.de:
Die Search Console hat festgestellt, dass Ihre Website von 1 Problem(en) des Typs „Seitenindexierung“ betroffen ist. Auf Ihrer Website wurden die folgenden Probleme gefunden. Wir empfehlen, diese Probleme nach Möglichkeit zu beheben, damit die Google Suche optimal funktioniert und eine hohe Reichweite hat.
Häufigste Probleme
Wegen Zugriffsverbot (403) blockiert