Kategoria: robots.txt

  • Jak nieskutecznie zablokować stronę dla Google?

    Jak nieskutecznie zablokować stronę dla Google?

    Większość osób może się zastanawiać, po co w ogóle blokować dostęp do strony dla Google i innych wyszukiwarek oraz robotów sieciowych przeszukujących internet. Cóż, czasami istnieje taka potrzeba. Nie zawsze…

    29 października 2012 / Liczba komentarzy4 / robots.txt
  • Robots.txt i WordPress – powielenie treści

    Robots.txt i WordPress – powielenie treści

    Robots.txt jest plikiem tekstowym mającym na celu pomóc w indeksowaniu naszej strony przez roboty sieciowe. Dzięki niemu możemy zablokować dostęp do poszczególnych części naszej strony czy jej konkretnych podstron. Na…

    26 kwietnia 2012 / Liczba komentarzy1 / robots.txt