Prawie wszystkie nowinki SEO w naszej firmie testujemy od razu na żywym organizmie, zamiast gdybać i wróżyć z fusów. Skoro cały świat trąbi, że nowy plik to absolutny must-have i przyszłość wyszukiwania, no to ja mówię: sprawdzam. Dzisiaj pokażę Ci nasze twarde, wręcz niewygodne dane z własnego podwórka na temat tego, czy llms.txt ma znaczenie, a które mogą Cię mocno... zaskoczyć.
Zderzenie ze ŚCIANĄ, czyli co mówią liczby
No to zderzyliśmy się z rzeczywistością. Od początku roku ten wychwalany wszędzie plik był otworzony na naszej stronie zaledwie 32 razy (!).
Rozumiesz to? Pół roku i tylko 32 odwiedziny.
Szybko rozbiliśmy te dane na czynniki pierwsze. Okazało się, że 12 wizyt wygenerowali ludzie - pewnie byliśmy to my sami. Pozostałe 20 wizyt to zautomatyzowane crawlery. W tym Google wchodził całe 6 razy, Anthropic 1 raz, a reszta to 13 wejść nierozpoznanych botów, które nawet się nie podpisały.
Pomyślałaś/pomyślałeś pewnie, że to wina naszej małej skali. No dobra, to spojrzałem na dane jednego z naszych największych klientów.
To jeden z większych sklepów internetowych w Polsce. Zgadnij, jaki miał wynik przez ostatnie pół roku? Dokładnie 32 wizyty.
To jest po prostu ŚCIANA! Sprawdzając kolejne analizowane przez nas strony, wyglądało to jak smutny żart. Osiągały one kolejno: 8 odwiedzin (3 Google, 5 nierozpoznane), 5 (0 Google, 5 nierozpoznane), 3 (0 Google, 3 nierozpoznane), 8 (2 Google, 6 nierozpoznane), 10 (2 Google, 8 nierozpoznane), 5 (1 Google, 4 nierozpoznane) i na koniec zaszczytne 17 (4 Google, 13 nierozpoznane).
Generalnie sytuacja jest taka, że na ten moment wszyscy mają ten plik w nosie i po prostu go ignorują.
Czym w ogóle jest ten cały llms.txt?
Żebyśmy mieli pełny obraz sytuacji, musimy sobie krótko wyjaśnić techniczne podstawy. Ten plik to nic innego jak zwykły dokument tekstowy napisany w formacie Markdown.
Jego głównym zadaniem jest pełnienie roli drogowskazu dla dużych modeli językowych. Wrzucasz tam ustrukturyzowane linki do swoich najlepszych materiałów, żeby boty nie musiały przedzierać się przez skomplikowany kod HTML i tonę zbędnych zakładek.
Wielu osobom od razu włącza się lampka ostrzegawcza i mylą go ze starym, dobrym strażnikiem naszej strony.
Podkreślam to z całą mocą - nowy plik absolutnie nie blokuje crawlerów. Od stawiania szlabanów jest robots.txt, a ten nowy wynalazek ma po prostu ułatwić modelom konsumpcję tego, co ustrukturyzowane i wartościowe.
Dlaczego boty AI mają ten plik w nosie?
Skoro to taki wielki hit, to dlaczego nikt go nie czyta? Główny fuckup polega na tym, że to wciąż tylko proponowany standard.
Do dzisiaj żaden z gigantów AI - ani OpenAI, ani Anthropic, ani Google - nie zadeklarował oficjalnie, że ich crawlery opierają się na tej mapie. Anegdotyczne pajęczyny na serwerach to szczera prawda, co widać po naszych liczbach.
Mimo to zagraniczne analityki pokazują, że już 1 na 4 strony z naszej branży zaczęła go masowo wdrażać. Wszyscy ogłosili nadejście przełomu, a nikt nie sprawdził, czy twórcy modeli faktycznie czytają te wytyczne.
No i tak to optymalizacja dla LLM stała się dla wielu sztuką dla sztuki :D.
Jak sprawdzić boty AI i ich odwiedziny u siebie?
Zastanawiałaś/zastanawiałeś się w ogóle, jak te wszystkie odwiedziny botów AI wyglądają u Ciebie? Założę się, że nie masz zielonego pojęcia.
Ale możesz się tego dowiedzieć w banalnie prosty sposób. Właśnie wypuściliśmy w naszej apce nową funkcjonalność.
Zaloguj się, podepnij stronę i sprawdź. Apka jest w pełni darmowa dla stron do 100 tysięcy wizyt miesięcznie, czyli dla absolutnej większości.
Co potrafi zaawansowana analityka?
Nasz Agent Monitor to JEDEN WIELKI proces podglądania tego, co dokładnie robią asystenci na Twojej witrynie.
Teraz możesz łatwo filtrować wszystkie adresy URL i wyciągać te, które faktycznie przyciągają ruch maszynowy. Chcesz wiedzieć, co dzieje się na blogu? Wpisujesz filtr na ścieżkę /blog/ i od razu wiesz, które artykuły są pożerane przez modele. Jeśli chcesz sprawdzić konkretnie statystyki dla pliku llms.txt, w filtrze adresu URL wpisz po prostu ścieżkę /llms.txt. Dzięki temu dowiesz się, ile razy i jakie dokładnie boty pobrały ten konkretny plik z Twoimi instrukcjami.
Możesz też wyświetlić wszystkie podstrony w serwisie, które pobrano w celu szkolenia modeli - i dodatkowo przefiltrować, kto konkretnie je pobrał (OpenAI czy Google).
Warto czy nie warto? Werdykt
Choć dzisiejsze statystyki mogą wywoływać uśmiech politowania, nie skreślałbym tego pliku całkowicie. Wdrożenie llms.txt to prosta i całkowicie darmowa inwestycja, która zajmuje kilka minut. Nawet jeśli dziś realne korzyści są niewidoczne teraz, nie jest powiedziane, że za kilka miesięcy to się nie zmieni.
Podsumowanie w punktach
- Ruch jest obecnie znikomy - nasze testy na dużych serwisach wykazały zaledwie 32 wizyty w ciągu pół roku, co pokazuje, że zainteresowanie tym plikiem jest na razie marginalne.
- Giganci AI na razie ignorują ten plik - dostawcy tacy jak OpenAI, Google czy Anthropic nie wdrożyli jeszcze oficjalnego wsparcia dla tego standardu w swoich crawlerach.
- Różnica między llms.txt a robots.txt - pamiętaj, że
llms.txtto zaproszenie i przewodnik (mapa wartościowych treści), podczas gdyrobots.txtpozostaje strażnikiem kontrolującym dostęp. - Analityka w Agent Monitorze - możesz samodzielnie sprawdzić statystyki swojego pliku, filtrując ścieżkę
/llms.txtw naszym narzędziu, aby zobaczyć, czy jakiekolwiek boty go pobrały. - Dzisiaj każdy ignoruje ale nikt nie wie jak będzie za kilka miesięcy