Plik robots txt jak stworzyć i jak dodać na stronę

Samodzielnie próbujesz pozycjonować swoją stronę? Na pewno trafiłeś na plik robots txt, dzisiaj będzie to tym do czego służy, jak go skonfigurować i dodać na Twoją stronę. /em>

Czym jest plik robots txt?

Każdy robot który odwiedzi Twoją stronę może otrzymać od Ciebie pewne instrukcje. Mówiąc najprościej – są to wytyczne które powiedzą mu jak ma poruszać się po Twojej witrynie. Jakie strony może indeksować, a które z nich pominąć. 


Takie rozwiązanie daje Ci możliwość wykluczenia niektórych podstron z indeksacji wyszukiwarek, wystarczy je zablokować i nie pojawią się w wynikach wyszukiwania.

Zapytasz, po co mam blokować strony?

Często na stronie mamy podstrony których nie chcemy pokazywać lub nie niosą ze sobą żadnych treści. Na przykład strona logowania do panelu administracyjnego, strona 404 z błędem wyszukiwania itp.

Jeżeli używasz wordpress podstrony o których piszę są blokowane domyślnie. Jednak nie poprzez wpis w pliku robots txt a użycie meta tagu no index w kodzie.

Jak stworzyć plik robots txt?

Jak sama nazwa wskazuje plik robots jest zwykłym plikiem tekstowym. Możesz go stworzyć w notatniku w przypadku systemu Windows lub edytorze txt w przypadku OSX.

Jedyne o czym należy pamiętać to zachowanie kodowania pliku w UTF-8. Dlatego nie radzę tworzyć go w wordzie, tego typu zaawansowane programy tekstowe mogą dodawać niepotrzebne znaki do pliku. Taki plik może być błędnie interpretowany przez roboty sieciowe.

Co wpisać w plik robots txt?

Jeżeli na stronie nie ma pliku robots txt lub jest on po prostu pusty to roboty traktują stronę jako indeksowalną w całości. Może się jednak zdarzyć, że wyszukiwarka trzyma w pamięci plik który istniał na stronie dawno temu. Załóżmy że zabraniał indeksowania, na przykład kiedy domena była w rękach innego właściciela. Wtedy może pojawić się problem.

Dlatego warto umieścić w pliku robots txt informacje zezwalającą na indeksacje która wygląda w następujący sposób.

User-agent:*
Allow: /

Powyższy kod zezwala wszystkim robotom na pełną indeksacje strony.

Jeżeli chcemy zabronić indeksacji strony kod powinien wyglądać następująco:

User-agent:*
Disallow: /

Linia User-agent wskazuje którego robota będą dotyczyły dyrektywy poniżej, na przykład chcąc zabronić indeksacji robotowi google wpiszemy następujący kod:

User-agent: Googlebot

Disallow: /

Dyrektywy mogą dotyczyć całych katalogów, plików lub pojedynczych linków, poniższy kod blokuje dostęp do indeksacji plików zakończonych na .xls

User-agent: *
Disallow: /*.xls$

natomiast chcąc zablokować indeksacje katalogu wpiszemy coś takiego:

User-agent: *
Disallow: /upload/

takim wpisem blokujemy indeksacje całego katalogu upload.

Dodatkowo w pliku możesz umieścić adres to pliku mapy strony w postaci kodu poniżej:

Sitemap: https://twojastrona/sitemap.xml

Jak dodać plik robots txt?

Każda strona www posiada tylko jeden plik robots txt i znajduje się on zawsze w głównym katalogu domeny.

Najszybszą metodą aby dodać taki plik od swojej strony jest wgranie go poprzez klienta FTP, jeżeli nie wiesz jak skonfigurować FTP potrzebne informacje znajdziesz we wpisie poniżej:

https://mattbox.pl/jak-skonfigurowac-klienta-ftp-wordpress-basics-1/

Inną metodą jest skorzystanie z edytora dostępnego we wtyczce Yoast SEO. wystarczy że wejdziesz w narzędzia i wybierzesz edytor plików ( screen 1 )

Powinieneś teraz zobaczyć zawartość pliku robots txt a poniżej edycję htaccess ( o tym specyficznym rodzaju pliku napisze w osobnych wpisie ).

Wystarczy że wpiszesz odpowiedni kod i zatwierdzisz zmiany a plik zostanie dodany na serwer.

To tyle na dzisiaj mam nadzieje że nieco pomogłem Ci zrozumieć o co chodzi z tym całym plikiem robots txt, jeżeli masz ochotę dowiedzieć się więcej na tematy związane z wordpress i nie tylko to zapraszam Cię do listy mailingowej.