Меню

Как настроить 410 ошибку



Htaccess.net.Ru

децентрализованное управление конфигурацией веб-сервера Apache

  • Портал » Список форумовСайтHtaccess
  • Изменить размер шрифта
  • Для печати
  • FAQ
  • Галерея
  • Регистрация
  • Вход

Как заменить код 404 на код 410 с помощью .htaccess?

Как заменить код 404 на код 410 с помощью .htaccess?

RotidE » Вс июн 24, 2012 1:53 pm

Со временем создания и изменения сайта было удалено и/или переименовано довольно большое количество страниц.
К сожалению, поисковики успели просканировать былые страницы и внести их в свой индекс.
Сейчас показывается 80 страниц с ошибками 404.

Вот, что я вычитал в справке гугл:

Как я понимаю, сейчас робо-гугл думает, что страница временно не доступна, т.к. приходит ответ 404.
Когда вместо 404 придет ответ 410 гугл тут же удалит индексацию несуществующих страниц. В Яндексе такая же история, полагаю на код 410 он ответит тем же, хоть и немного позже.

Если написать просто:
ErrorDocument 404 /404.html
То браузеру не возвращается никакой статус

Если писать редиректом:
Redirect gone /stranica1.html http://www.moi_sait.ru/new_stranica1.html
тогда:
1. перечисление всех 80 адресов страниц займет уйму времени.
2. возможно из этих 80 есть рабочие и можно ее вписать в .htaccess случайно, т.к. проверить все 80 страниц на проявления жизни не представляется возможным.

Вопрос:
Возможно ли в .htaccess создать вот такую строку и будет ли она работать как нужно?:
ErrorDocument 404 Redirect gone / http://404.html

Задача:
При попытке доступа к несуществующей (или уже несуществующей) странице (код 404) происходило перенаправление на мою страницу 404.html и в момент перехода браузеру (или поисковому роботу) отдавался статус -gone (410 — убран).

Неужели вся инфа на этом сайте просто рерайт или копи-паст?

RotidE » Чт июн 28, 2012 5:19 pm

Неужели тут никого не бывает, кто действительно разбирается как пишется содержимое файла .htaccess?

Все, что мне удалось выяснить на данный момент, это то, что строка со статусом «gone» должна выглядеть не так как описывается на этом сайте и на других сайтах подобного содержания:
Redirect 410 /123.html http://www.moi_sait.ru/new_stranica1.html

Строка перенаправления со статусом «gone» должна выглядеть так:
Redirect 410 /123.html
или так:
Redirect gone /123.html

т.е. «куда перенаправлять» вписывать не нужно, иначе все страницы сайта (и существующие и не существующие) будут давать ошибку 500.
Об этом не говорится нигде.

Но как же сделать так, чтобы ВСЕ страницы 404 возвращали статус не 404, а 410!?

Возможно ли написание строки такого вида:
Redirect 410 ErrorDocument 404 /404.html
и будет ли это работать?

Есть ли здесь знатоки?

Alexx » Вс июл 08, 2012 8:21 am

RotidE писал(а): Неужели тут никого не бывает, кто действительно разбирается как пишется содержимое файла .htaccess?

Все, что мне удалось выяснить на данный момент, это то, что строка со статусом «gone» должна выглядеть не так как описывается на этом сайте и на других сайтах подобного содержания:
Redirect 410 /123.html http://www.moi_sait.ru/new_stranica1.html

Строка перенаправления со статусом «gone» должна выглядеть так:
Redirect 410 /123.html
или так:
Redirect gone /123.html

т.е. «куда перенаправлять» вписывать не нужно, иначе все страницы сайта (и существующие и не существующие) будут давать ошибку 500.
Об этом не говорится нигде.

Но как же сделать так, чтобы ВСЕ страницы 404 возвращали статус не 404, а 410!?

Возможно ли написание строки такого вида:
Redirect 410 ErrorDocument 404 /404.html
и будет ли это работать?

Есть ли здесь знатоки?

Первое то что на конкретном веб сервере выдается 500 ошибка при попытке включить какую либо директиву конфигурационного файла как правило абсолютно не значит что сама по себе директива не рабочая. Вероятнее всего просто или версия веб сервера другая или что более вероятно конкретная команда запрещена в опция конфигурации данного веб сервера или вы просто напросто допустили где то ошибку или опечатку. ну это из моей практики

Второе насчет 404 ошибки — по заверениям разработчиков яндекса — сервиса веб-мастера (да и просто по технологии — 404 -ошибка означает что документа больше нет) — при получении 404 ошибки страница удаляется из поиска автоматически через 1,5-2 месяца с момента первого обнаружения 404 ошибки при условии что на данную страницу больше нет ссылок из рабочих — оставшихся страниц на сайте. Если на удаленную страницу по прежнему ведет хотя бы 1 ссылка не важна из меню или из контента по заверению разреботчиков яндекса такая страница удаляться сразу не будет.. только по истечению 6 месяцев и более в зависимости от авторитетности весов данной удаленной страницы —

Третье понять что получается а при настройки .htaccess -в любом случае нужно экспериментировать побывать и смотреть что получается — захожим например сюда http://www.cy-pr.com/tools/header/ и смотрим код ответа веб сервар на запрос конкретной страницы. И соответственно сверяем коды и до тех пор пока не получим то что хотим.
например при запросе на данную страницы веб сервер этого сайта возвращает следующее значение:
200 код ))))
Код: выделить все HTTP/1.0 200 OK
Date: Sun, 08 Jul 2012 08:20:28 GMT
Server: Apache
Content-Length: 27544
Connection: close
Content-Type: text/html

Читайте также:  Как настроить файлы в вацапе

4) удачных экспериментов

Называется: -«мы не знаем, сам поGoogleи»

RotidE » Вт июл 10, 2012 3:04 am

Все написанное в предыдущем ответе можно было бы написать всего лишь несколькими фразами:
— Не знаю, ковыряйся сам.
Или же одним словом: -«погугли».

К сожалению поисковики не дают результата.

А я так надеялся на подсказку гуру.

Тем не менее, не оставлю не замеченным, благодарю за ссылку-подсказку на сайт «Проверка заголовков сервера — Проверка HTTP статусов».

меняем код ответа веб сервера 404 на код 410 с помощью .htac

Alexx » Пн авг 27, 2012 12:34 pm

гугу давно в отпуске )))

«Погуглив» по http://htaccess.net.ru , обратно же на вскидку подверженной практикой получаются следующих два рабочих варианта:

1)
Вставляем в .htaccess следующее:
Код: выделить все ErrorDocument 404 http://web-domen.com/111.txt #111.txt файл в корне — с надписью страница не найдена или даже просто пустой в данном примере не важно.
Redirect 410 /111.txt #410 — Gone — ответ веб сервера.

Гугл хром выдает следующее:
Код: выделить все Gone
The requested resource
/111.txt is no longer available on this server and there is no forwarding address. Please remove all references to this resource.

2)
Если есть одинаковый элемент (- сочетание символов) в названии файлов- урлов ни где больше не встречается на других нормальных работающих файлах-урлах сайта то можно попробовать использовать регулярное выражение (шаблон), описывающее группу URL, нработающий пример для gif-фок:

Вставляем в .htaccess следующее:
Код: выделить все RedirectMatch 410 /*1.gif

т.е. для всех файлов 1.gif , 4555 1.gif , wwwwwwwww1111 1.gif — т.е. при встрече с шаблоном «любые сиволы+1.gif» будет выдаваться 410 код -ответ веб-сервера:
Код: выделить все Gone
The requested resource
/1.gif
is no longer available on this server and there is no forwarding address. Please remove all references to this resource.

Благодарю за помощь!

RotidE » Вт авг 28, 2012 3:20 am

Alexx,
Премного благодарен Вам, уважаемый!
Сейчас работает в таком виде:
Код: выделить все Redirect 410 /blog/
Redirect 410 /dohod.html
Redirect 410 /chto_eto_takoe.html
Redirect 410 /obratnaya_svyaz.html
Redirect 410 /kak_i_chto_delat.html
Redirect 410 /menu_gde_vzyat_sredstva_na_vklad.html
.

Сработало не плохо, в поисковиках ошибочные страницы почистились.

Создание масок не пробовал, ибо не знал, как будет работать — не хотелось наломать дров.
Интересный вариант, пригодится, т.к. есть еще страницы с 404.

Alexx » Пт авг 31, 2012 6:15 pm

да тут еще нужно четко себе отдавать отчет что если использовать первый вариант то в теории все не найденные страницы (с 404 ошибкой) будут удаляться из индекса сразу, ну а если сломалась смс, да и вообще любой глюк.. ошибка — и бац пол сайта удалена из индекса.. в общем я бы почистив что нужно затем затем комментировал бы эту инструкцию.. с 404 ошибкой безопасней по кране мере пара месяцев до удаления из индекс в запасе есть ))

Источник

Ошибки 406, 410, 505 на сайте

В прикладном смысле сайт — это набор файлов. Файлы каждого сайта находятся на том или ином физическом сервере. Чтобы пользователь мог перейти на нужный ресурс в интернете, нужно запросить эти файлы у сервера.

Сразу после того, как пользователь вбивает какой-то запрос в поисковик, браузер делает запрос на сервер. После этого сервер дает ответ и искомый сайт открывается в браузере. Однако иногда вместо ответа на запрос появляется ошибка.

Каждая ошибка имеет свой код. По коду можно определить возможные причины её появления. Рассмотрим, что означают ошибки 406, 410 и 505, из-за чего они появляются и как их можно исправить.

Ошибка 406 Not Acceptable

Если веб-сервер выдаёт код ошибки 406, значит запрос был заблокирован брандмауэром веб-приложений (WAF) ModSecurity. Брандмауэр ModSecurity — это программное обеспечение для веб-сервера Apache, которое фильтрует все поступающие к сайту запросы (веб-трафик). Он принимает корректные запросы и блокирует нежелательные. Например, защищает веб-ресурс от нелегитимных запросов, с помощью которых можно найти уязвимости CMS и затем взломать её.

ModSecurity по умолчанию подключают все хостинг-провайдеры для защиты сайтов клиентов. Подробнее о работе брандмауэра ModSecurity читайте на modsecurity.org.

HTTP 406 ошибка чаще всего имеет локальный характер и возникает на стороне клиента. В редких случаях, чтобы исправить проблему, необходимы действия со стороны владельца.

Основные причины

  1. Брандмауэр ошибочно блокирует корректные запросы.
  2. Временная проблема идентификации IP-адреса при подключении к Wi-Fi.
  3. Ваш браузер поврежден вирусами. К заражению могли привести установленные для браузера расширения или поврежденные файлы операционной системы.
  4. Поврежден реестр Windows. Нередко такое происходит в результате последних обновлений программного обеспечения или после удаления тех или иных его компонентов.
  5. Когда клиенты жалуются, что видят страницу с 406, самая вероятная причина — некорректная работа плагинов CMS. Чаще всего такое бывает на WordPress-сайтах.
Читайте также:  Selenga hd80 как настроить каналы

Как исправить HTTP 406 Not Acceptable

Если вы пользователь:

  1. Почистите файлы cookies. Если при повторном подключении вы снова увидите ошибку, попробуйте очистить кэш браузера. Возможно, доступ уже восстановлен, но ваш браузер обращается к старой версии страницы.
  2. Отключите дополнительные расширения. Запустите браузер в режиме «Инкогнито». В этом режиме браузер задействует только базовые настройки. Если веб-ресурс доступен в этом режиме, значит причина ошибки в одном из дополнительных расширений, которые вы используете.
  3. Переустановите браузер. Если вы отключили расширения, но доступ к сайту не появился, попробуйте ввести аналогичный запрос через другой поисковик. Если страница открывается, значит есть критические нарушения в работе текущего браузера.
  4. Обновите драйверы компьютера. Иногда драйверы устройства отключаются и перестают автоматически работать. Это может спровоцировать нарушение в подключении. Для восстановления работы достаточно обновить драйверы.
  5. Отмените последние изменения, если у вас Windows. Восстановление системы позволит вернуть программы и системные файлы вашего компьютера в то состояние, когда не было сбоев в работе.
  6. Просканируйте системные файлы. Благодаря этому можно обнаружить поврежденные файлы и восстановить их. Это поможет оптимизировать работу компьютера и, возможно, устранить проблему.

Если указанные способы не помогли, вероятно, проблема связана с настройками сайта.

Если вы владелец сайта:

Если ваш сайт создан на WordPress, проверьте работу плагинов. Чтобы убедиться, что проблема именно в них, можно отключить сразу все плагины и проверить соединение.

Если вы уверены, что на работу влияет конкретный плагин — отключите его. Если не уверены, то отключайте плагины по очереди, пока не вычислите нужный. Для этого:

Нажмите Деактивировать для плагина, который хотите отключить:

Если ваш сайт создан не на WordPress или отключение плагинов не дало результата, чтобы исправить ошибку 406, напишите заявку в техническую поддержку.

Ошибка 410 Gone

Иногда при переходе на одну из страниц сайта может встретится ошибка 410, что значит, что этой страницы больше не существует. Следовательно, проблема возникла на стороне владельца сайта.

Этим 410 похожа на ошибку 404 (страница не найдена). Их основное отличие в том, что при ошибке 404 страница либо не существовала, либо наоборот — существует, но временно не найдена (например, потому что скрыта от пользователей). Ошибка 410 же сообщает, что страница точно существовала раньше, но затем её удалили.

Также ошибки по-разному обрабатывают поисковые роботы. Если роботы встретят страницу с ошибкой 404, они перенесут индексацию сайта на 24 часа. Если сервер выдаст страницу с 410, роботы сразу отметят её как удаленную и больше не будут индексировать. Для владельца сайта это не очень хороший сценарий, поскольку не индексируемые страницы негативно влияют на позиции сайта в поисковых системах.

Как исправить

Способ исправить ошибку 410 HTTP зависит от намерений владельца.

  1. Если страница удалена по ошибке, можно попробовать восстановить её из резервной копии.
  2. Если страницу удалили намеренно, лучше всего настроить редирект. Редирект помогает сделать перенаправление одной страницы на другую. Это позволит сохранить поисковые позиции.

Ошибка 505 HTTP Version Not Supported

Код ошибки 505 говорит нам о том, что проблема возникла на уровне сервера. Вот что означает ошибка 505: с её помощью сервер сообщает, что не может установить соединение по той версии HTTP-протокола, с помощью которой к нему хотят подключиться.

Основные причины

  1. Пользователь использует устаревший браузер, который не поддерживает новые версии протокола. То есть в этом случае браузер подключается по версии HTTP 1.1, а сервер работает по версии HTTP 2.
  2. Сервер не поддерживает HTTP-протокол, с помощью которого пытается подключиться клиент. Например, он работает по версии HTTP 1.1, а запрос поступает из браузера с версии HTTP 2.
  3. Неверные директивы, указанные в файле .htaccess.
  4. Неполадки в работе скриптов ресурса.

Как исправить ошибку 505

Если вы пользователь:

  1. Почистите файлы cookies и кэш браузера.
  2. Обновите версию браузера.
  3. Обновите операционную систему и драйверы.
  4. Обратитесь к интернет-провайдеру. Если все страницы показывают 505 в любых браузерах, обратитесь в службу поддержки вашего провайдера.

Источник

Удаление контента. Что настроить 404 или 410?

Удаление контента. Что настроить 404 или 410?

Сегодня разберемся в одном очень важном и для многих непонятном вопросе. Чем код 404 отличается от 410 и когда правильно использовать каждый из них?

Поисковые системы при проверке страницы сначала смотрят на код ответа сервера, а уже потом приступают к проверке содержимого документа. Поэтому если страница больше не существует, она должна отдавать соответствующий код. Почему это так важно? В противном случае, как утверждают представители различных поисковых систем, страницы с кодом ответа, отличным от 404 или 410, будут сканироваться. Но, если с этим и так все понятно, то вопрос о различиях между 404 и 410 для многих остается открытым.

Коды 404 и 410 – в чем разница?

Код ответа 404 (Ресурс не найден) говорит о том, что искомый документ не существует, а код ответа 410 (Ресурс недоступен) сообщает, что затребованный ресурс был окончательно удален с сайта. То есть оба кода говорят роботу о том, что запрошенная страница недоступна.

Читайте также:  Как настроить режущий плоттер vicsign

При этом ошибка 404 говорит также о том, что ни одна страница сайта не соответствует запрошенному URL. Причин этому может быть несколько:

  • пользователь неправильно ввел ссылку;
  • страница по запросу была удалена.

Важно отметить, что код ответа 404 не говорит о том, была ли вообще когда-нибудь доступна такая страница и будет ли она восстановлена в будущем. Но именно код 404 применяется если предполагается, что страница все же будет восстановлена.

Код 410 определяется как «удален». Исходя из этого можно уже сделать вывод о том, что документ ранее находился по указанному URL, но впоследствии был удален и в данный момент больше недоступен. Однако в 99% случаев для удаленных документов используется код 404, и это не запрещено.

Так в чем все-таки разница и одинаково ли робот обрабатывает страницы, отдающие коды 404 и 410?

Ответы на этот вопросы мы решили получить от первоисточников — Яндекса и Google.

Что говорит поддержка Яндекса?

Вопрос 1: Существуют ли для робота отличия в интерпретации кода 404 и 410? Насколько верно, что, если удаленному документу настроить код 404 и не запрещать обход в robots.txt., то некоторое время робот будет возвращаться на такие страницы? И верно ли, что при настройке кода 410 робот быстро уберет документ из индекса?

Ответ: В настоящее время не существует специальной обработки кода 410, поэтому обрабатывается он так же, как и код 404. Его использование не приведет к более быстрому удалению страниц из индекса. Если на страницы с кодом 404, 410 или запрещенных в robots.txt не будут вести внешние ссылки, со временем они могут пропасть из базы робота. На это может потребоваться примерно несколько недель. Запрет же в robots.txt в первую очередь рекомендуется для более быстрого исключения страниц непосредственно из результатов поиска: запрещенные ссылки в таком случае могут выпасть из поиска в течение двух недель.

Вопрос 2: Насколько критична для просадки позиций документа случайная настройка на него кода 404 или 410 с последующим возвращением кода 200? Какова вероятность того, что позиции такого документа в будущем восстановятся?

Ответ: Точных данных о сроках переобхода исключенных страниц нет. Робот посещает все страницы в соответствии с политиками планирования, самостоятельно выбирая страницы к обходу. Например, если ранее страница не менялась длительное время, робот начинает посещать ее реже, и на переобход потребуется больше времени, чем обычно. Чтобы его ускорить можно использовать инструмент “Переобход страниц” в Яндекс.Вебмастере (https://webmaster.yandex.ru/site/tools/add-url/ ). С его помощью можно восстановить в поиске страницы уже через 1-2 недели. Что касается позиций страниц, то сложно сказать, в какой степени скажется на них исключение из поиска. Гарантировать сохранение позиций мы не можем ни в случае недоступности страниц, ни в каком-либо другом.

А что скажет Google?

Мэтт Каттс — глава отдела по борьбе с поисковым спамом Google, поясняет, что в обработке кодов 404 и 410 есть отличия, и робот по — разному отнесется к появлению таких ошибок. При обнаружении ошибки 404 он не станет сразу отмечать документ как удаленный, но через 24 часа придет проверить его вновь. А вот если поисковик найдет ошибку 410, то он автоматически отметит ее как удаленную и больше не будет ее проверять. То есть если вы видите, что какая-то страница отсутствует, но при этом вы уверены, что это временное явление, лучше использовать код 404. Его же следует использовать и при попытке пользователя попасть на несуществующие документы. В том же случае, когда страница пропала и вы не можете ее заменить другой, грамотнее будет применить код ответа сервера 410.

Подробная информация доступна на канале Google Webmasters по ссылке: https://youtu.be/xp5Nf8ANfOw

Что же делать? Получается, что Яндекс и Гугл по — разному обрабатывают данные ошибки? На наш взгляд, код 410 стоит использовать лишь в том случае, когда вы совершенно точно уверены, что страница удалена насовсем. Чаще всего настройка 410 ошибки требует подключения программиста, а это нерационально с точки зрения использования ресурсов, ведь результат будет тот же самый. Если же существует хоть какое-то предположение о восстановлении страницы, то стоит обращаться к коду 404. Несмотря на то, что Яндекс не заметит особых различий, для Google ошибка 410 — это как окончательный и бесповоротный приговор. Использование же кода 404 дает возможность в течение 24 часов сохранить позиции страницы в выдаче.

В следующей статье мы разберем еще один очень важный этап технического аудита и поговорим про анализ тегов. Для чего их нужно проверять, какие из них имеют приоритет перед остальными и как найти некачественные теги — обо всем этом читайте в ближайшее время!

Источник