SEO to rozbudowana i złożona dziedzina, która wymaga wielotorowych działań. Część z nich odnosi się do kwestii technicznych, w tym do uzupełniania folderów strony internetowej. Wśród podstawowych działań wdrażanych przez nas zespół podczas pozycjonowania stron internetowych, jest tworzenie i uzupełniani pliku tekstowego robots – niezbędnego w folderze głównym domeny. Co warto o nim wiedzieć? Czym jest robots txt disallow, a czym robots txt sitemap? Na te i wiele innych istotnych pytań znajdziesz odpowiedzi w poniższym tekście.
Co to jest robots txt?
Robots txt to zwyczajny plik tekstowy, który powinieneś zamieścić na swojej stronie. Jego zadaniem jest informowanie botów odwiedzających witrynę, którym podstronom powinny poświęcić uwagę, a które omijać. Jest to niejako drogowskaz mający usprawnić pracę robotów, przyczyniając się do inteligentniejszego przeglądania strony, a tym samym trafniejszej ich oceny. Możliwe jest też wykorzystanie robots txt no index do wyłączenia poszczególnych podstron z indeksowania.
Najmocniejszą sugestię stanowi robot txt no-index no-follow. Wyszukiwarki zwykle stosują się do wytycznych zawartych w plikach robots.txt, niemniej należy pamiętać, że są to jedynie sugestie. Wyszukiwarka może je zignorować, i czasami jak najbardziej do tego dochodzi.
Znaczenie robots txt
Robots txt sitemap, czy też odniesienia do innych adresów są istotne z kilku powodów. Aby to zrozumieć, trzeba najpierw poznać specyfikę działania robotics Google. Otóż roboty Google nieustannie przeglądają internet, zatrzymując się na poszczególnych, zaindeksowanych stronach i oceniając ich zawartość. Ocenie poddawane jest to, co widoczne, jak i to, co w kodzie źródłowym. Google stawia na szybkość działań, przez co robot w pierwszej kolejności wybiera najbardziej interesujący go plik robots.txt. Jeśli go nie znajdzie, lub jest nieprawidłowo przygotowany, przygotowanie oceny witryny znacznie się wydłuży. Samo w sobie może to wpłynąć na obniżenie oceny witryny przez Google.
Robots.txt to korzyść ze względu na:
- skierowanie robotów na ważniejsze podstrony, zwiększając w ten sposób ich znaczenie dla ogólnych efektów pozycjonowania witryny,
- niedopuszczenie niektórych botów do strony lub przynajmniej do poszczególnych podstron, co przekłada się na mniejsze obciążenie serwera.
Przydatne zagadnienia dotyczące pliku robots txt:
