Tag
robots.txt
Wpisy na blogu Outofplace oznaczone tagiem „robots.txt”, od najnowszych: badania i notatki niezależnego studia produktowego.
- Boty AI kontra polski internet: robots.txt 1000 stron .plSprawdziliśmy plik robots.txt 1000 największych stron .pl: co piąta blokuje boty AI, głównie treningowe jak GPTBot, rzadko wyszukiwarki AI. Jak to rozdzielić?
Napisz, co budujemy.
Odpowiadamy w ciągu jednego dnia roboczego.