Джон Мюллер, один из сотрудников Google, ответил на вопрос о том, что делать с недействительными URL на сайте. Он отметил, что такие URL в обязательном порядке должны возвращать ошибку 404 – так Google сможет понять, что страницы не существуют.
В компании также отметили, что 5хх такой информации не передают.
По этому поводу в Twitter высказался один из зарубежных вебмастеров:
Получил сегодня предупреждение в Google Search Console о том, что одна из моих страниц возвращает ошибку 5xx. Как выяснилось, речь идёт об упоминании нашей ссылки в примечаниях к научной статье в PDF-формате. Поскольку сразу после URL идёт двоеточие, ссылка нерабочая. Не думал, что Google способен находить такие ссылки.
Джон Мюллер ответил на этот пост, сконцентрировавшись не на возможностях Googlebot, а на кодах ответа сервера, которые возвращаются по недействительным страницам:
Если URL являются невалидными для вашего сайта, то вы должны возвращать ошибку 404, чтобы было понятно, что они для вас недействительны.
Владельцам сайтов, по словам Мюллера, следует избегать появления ошибок 5хх. Кроме того, представитель Google отметил, что робот будет пытаться обработать сигналы для 404 страниц до тех пор, пока они существуют в интернете.
В Google также отметили, что за ссылки на страницы 404 поисковик не понижает позиции сайтов. Кроме того, если сервер возвращает 404-ошибку, то содержимое страницы не сканируется.
