Jak znovu odeslat aktualizovaný nebo nový soubor Robots.txt

roboty txt

Naše agentura zpracovává poradenství v organickém vyhledávání pro několik prodejců SaaS v oboru. Klient, s nímž jsme nedávno začali pracovat, provedl docela standardní postup, umístil svou aplikaci na subdoménu a přesunul svůj web brožury do základní domény. Jedná se o standardní postup, protože umožňuje jak vašemu produkčnímu týmu, tak vašemu marketingovému týmu provádět aktualizace podle potřeby bez závislosti na ostatních.

Jako první krok v analýze jejich stavu organického vyhledávání jsme zaregistrovali doménu brožur i aplikací ve správcích webů. Tehdy jsme zjistili okamžitý problém. Všechny stránky aplikace byly blokovány indexováním pomocí vyhledávačů. Ve Webmasterech jsme se dostali k jejich záznamu robots.txt a okamžitě jsme problém identifikovali.

Při přípravě na migraci jejich vývojový tým nechtěl, aby byla subdoména aplikace indexována vyhledáváním, takže nepovolili přístup k vyhledávačům. Soubor robots.txt je soubor nalezený v kořenovém adresáři vašeho webu - yourdomain.com/robots.txt - to umožňuje vyhledávači vědět, zda má nebo nemá procházet web. Můžete napsat pravidla pro povolení nebo zakázání indexování na celém webu nebo konkrétních cestách. Můžete také přidat řádek k určení souboru Sitemap.

Společnost robots.txt soubor měl následující položku, která zabraňovala procházení a indexování webu v žebříčku výsledků vyhledávání:

Uživatelský agent: * Zakázat: /

Mělo to být napsáno takto:

User-agent: * Povolit: /

Ten poskytuje oprávnění jakémukoli vyhledávacímu modulu procházejícímu web, ke kterému má přístup k libovolnému adresáři nebo souboru v rámci webu.

Skvělé ... takže teď, když robots.txt soubor je perfektní, ale jak to Google ví a kdy znovu zkontroluje web? Můžete absolutně požádat Google, aby zkontroloval váš soubor robots.txt, ale není to příliš intuitivní.

Přejděte na Google Search Console k Procházet> Tester robotů.txt. Uvidíte obsah naposledy prolezeného souboru robots.txt v testeru. Pokud chcete soubor robots.txt znovu odeslat, klikněte na Odeslat a vyskakovací okno přijde s několika možnostmi.

znovu odeslat robots.txt

Poslední možnost je Požádejte Google o aktualizaci. Klikněte na modré tlačítko Odeslat vedle této možnosti a poté přejděte zpět na Procházet> Tester robotů.txt možnost nabídky znovu načíst stránku. Nyní byste měli vidět aktualizovaný soubor robots.txt spolu s datovým razítkem, které ukazuje, že byl znovu prolezen.

Pokud nevidíte aktualizovanou verzi, můžete kliknout na Odeslat a vybrat Zobrazit nahranou verzi přejděte na svůj skutečný soubor robots.txt. Mnoho systémů tento soubor uloží do mezipaměti. Ve skutečnosti IIS generuje tento soubor dynamicky na základě pravidel zadaných prostřednictvím jejich uživatelského rozhraní. Pravděpodobně budete muset aktualizovat pravidla a obnovit mezipaměť, abyste mohli publikovat nový soubor robots.txt.

robot-txt-tester

Co si myslíte?

Tyto stránky používají Akismet k omezení spamu. Zjistěte, jak jsou vaše údaje komentářů zpracovávány.