➔ Google проиндексировал, несмотря на блокировку в файле robots.txt
У поискового робота Google явная шизофрения: он знает, что владельцы сайтов могут запрещать индексацию определённых страницы поисковыми роботами в файле robots.txt
, видит запрет(ы), игнорирует их и сам считает это проблемой. 🤪 И исправить это владелец сайта уже́ никак не может. 🤦