Tag: robots.txt

Jak nieskutecznie zablokować stronę dla Google? 4

Jak nieskutecznie zablokować stronę dla Google?

Większość osób może się zastanawiać, po co w ogóle blokować dostęp do strony dla Google i innych wyszukiwarek oraz robotów sieciowych przeszukujących internet. Cóż, czasami istnieje taka potrzeba. Nie zawsze i nie wszystkim co...

Robots.txt i WordPress – powielenie treści 2

Robots.txt i WordPress – powielenie treści

Robots.txt jest plikiem tekstowym mającym na celu pomóc w indeksowaniu naszej strony przez roboty sieciowe. Dzięki niemu możemy zablokować dostęp do poszczególnych części naszej strony czy jej konkretnych podstron. Na przykład, jeżeli posiadamy stronę...