Prowadzisz firmę stacjonarną w Warszawie i starasz się zwiększyć widoczność swojej strony dla lokalnych klientów? Prawdopodobnie przeprowadziłeś już podstawową optymalizację serwisu i zbudowałeś solidny profil linków zewnętrznych. Ale czy wiesz, że dla całego procesu zwiększenia widoczności oraz na pozycjonowanie znaczenie ma również plik o nazwie robots.txt? Jeśli nie, koniecznie sprawdź, co to takiego, do czego służy i jak go stworzyć.
Czym jest plik robots.txt i do czego służy?
Robots.txt to plik tekstowy zapisany w rozszerzeniu txt. Zawiera on komendy dla robotów indeksujących wyszukiwarki. Podstawowe dyrektywy w pliku to Allow i Disallow. Pierwsza oznacza przyzwolenie na indeksowanie, druga oznacza, że dostęp dla robotów jest zablokowany. I właśnie to tego służy plik robots.txt – informuje boty, które podstrony i sekcje w serwisie internetowym mają one sprawdzać i dodawać do indeksu, a które nie. Oprócz tego może on zawierać również link do pliku z mapą strony.
Po co blokować botom dostęp do niektórych podstron? Chodzi o to, aby nie indeksowały one podstron i sekcji w domenie, które nie mają znaczenia dla SEO. Indeksowanie to jeden z etapów, jaki przechodzi wyszukiwarka, aby wyświetlać użytkownikom wyniki. Sekcje, które nie mają znaczenia w pozycjonowaniu i nie powinny być sprawdzane przez roboty to m.in. regulamin, polityka prywatności, pliki cookies, strona logowania/rejestracji, wewnętrzna wyszukiwarka, panel administracyjny czy koszyk zakupowy. Warto jednak wspomnieć, że plik robots.txt nie służy do blokowania indeksowania całej witryny – jeśli inne serwisy linkują do danej podstrony, i tak może się ona pojawić w wynikach wyszukiwania.
Czy Twoja strona musi mieć plik robots.txt?
Plik robots.txt nie jest konieczny do tego, aby strona działała poprawnie i mogła znaleźć się w indeksie wyszukiwarki. To znaczy, że Twój serwis nie musi mieć pliku robots, ale warto go utworzyć, ponieważ może usprawnić cały proces indeksowania i wyświetlania witryny w wynikach wyszukiwania.
Nie wiesz, czy Twoja strona ma plik robots.txt? Możesz to sprawdzić, poprzez dodanie do adresu domeny końcówki /robots.txt np. https://nazwatwojejdomeny.pl/robots.txt.
Jak stworzyć plik robots.txt dla strony pozycjonowanej na Warszawę?
Pozycjonowanie Warszawa to strategia należąca do SEO lokalnego. W tym wypadku widoczność strony zwiększana jest wyłącznie w jednym mieście, w Warszawie. Dzięki temu witryna będzie widoczna w lokalnych wynikach wyszukiwania na frazy nawiązujące do lokalizacji lub dla użytkowników, którzy udostępnią wyszukiwarce swoją lokalizację (i będą przebywali na terenie Warszawy podczas korzystania z wyszukiwarki).
Tworzenie pliku robots dla takiej strony i rodzaju SEO niczym nie różni się od tworzenia go w innych przypadkach. Cały proces będzie jednak wyglądał nieco inaczej w zależności od systemu CMS, z jakiego korzystasz. W WordPressie możesz zrobić to automatycznie za pomocą wtyczki Yoast SEO. Możesz również samodzielnie utworzyć plik, dodać do niego odpowiednie komendy dla robotów, zapisać w rozszerzeniu txt., a następnie dodać do folderu głównego domeny na serwerze. Podstawowa komenda w pliku robots.txt wygląda tak:
User-agent: *
Disallow: /wp-admin/
Oznacza to, że dla wszystkich robotów zablokowany jest dostęp do panelu administracyjnego WordPressa. Za pomocą odpowiednich oznaczeń możesz pozwalać lub zabraniać dostępu konkretnym robotom.
