ЭНЕРГОСБЕРЕЖЕНИЕ
программа энергосбережения, счетчики воды, теплосчетчики, расходомер
     
     
Главная
Энергосбережение
Счетчики воды
Как меньше платить за тепло и воду?
Альтернативные источники энергии
Бизнес идеи и советы по бизнесу
В помощь автолюбителю
Забавные идеи и советы
Строительство
Строительство и ремонт
Магазин советов и идей
Осторожно мошенники!
Совет да любовь
Не играй не проиграешь!
Советы по продвижению сайта
Где лучше отдохнуть
http://www.startsbusiness.ru/ - Новый бизнес, бизнес идеи

   Для чего нужен robots.txt файл?
1. Robots.txt помогает избежать загрузки ресурсов сервера
   При написании данной статьи, насколько мне известно, многие из программ роботов поисковых систем не обращаются к индексации сценариев на моем сайте (типа CGI или PHP сценариев). Однако, есть и те роботы, которые это делают, включая одного из самых крупных, Google.
   Сценарии, которые видит робот, фактически такие же, как их отображает браузер, включая все специальные символы. Если у вас на сайте имеются сценарии, которые предназначены только для использования пользователями и не имеют ни какой полезной информации для практического использования при поиске вы можете ограничить доступ роботов к отдельным файлам и папкам вашего сайта. В результате таких действий скорее всего уменьшается загрузка сервера, так как исключается ненужное их выполнение.
   Конечно, есть роботы, которые могут не выполнять специально прописанные для них инструкции и загружать сервер. Такие роботы могут фактически загрузить ваш сервер или замедлить его работу для реальных пользователей, которые будут пытаться получить доступ к ресурсам вашего сайта. Если вы о них знаете, то их можно так же ограничить. Для указания роботу, какие файлы необходимо индексировать и какие нет, используется robot.txt файл. К сожалению, некоторые роботы игнорируют robot.txt файл.
2. Robots.txt помогает фильтровать индексацию
   Если вы просматриваете статистику своего сайта, вы несомненно найдете запросы к robots.txt файлу различными поисковыми системами. Например, у вас имеется настроенная обработка 404 кода ошибки (который загружается каждый раз, когда посетитель пробует зайти на страницу, которая не существует на сайте), вы увидите, в статистике, что робот заходит на тот документ который установлен в обработке данной ошибки, если вы не имеете robots.txt файла. Если таких ошибок достаточно много на сайте, то в результате роботы будут загружать страницы по несколько раз в день, что добавит проблем при индексации. В таком случае, имея robots.txt можно этого избежать (по крайней мере, вероятность будет выше).
   Некоторые роботы могут так же скачать файлы для индексации, с которыми вы бы не хотели делиться. Например, с сайта скачивается роботом файлы с расширением «.jpg». Если данные действия нарушают ваше авторское право, можно запретить доступ робота к соответствующей папке, содержащей графические изображения в robots.txt файле.
3. Robots.txt убирает беспорядок в статистике сайта
   В статистике можно проверить не только список URL, с которых посетители попали на сайт, но и найти те страницы, на которых выдавался 404 код ошибки. Таким образом, можно выявить ошибки внутренних ссылок на странице сайте (конечно лучше проверять сразу все ссылки, но ошибки, тем не менее, могут быть).
   Если отсутствует robots.txt файл, поисковая система добавляет в статистику 404 коды ошибок, тем самым, добавляя беспорядок в статистику сайта, отвлекая ваше внимание от ссылок которые действительно нуждаются в корректировке.
4. Отказ от Робота
   В некоторых случаях бывает необходимым, чтобы сайт не подвергался индексации поисковыми системами по каким-либо причинам. Возможные причины могут быть следующие: Робот постоянно грузит ваш сервер или вы храните на сайте свои личные фотографии. С robots.txt файлом, используя соответствующую директиву вы сможете исключить индексацию вашего сайта для некоторых роботов поисковых машин.
 
 
© 2008 Мечта_ру Ссылка на сайт http://www.meshta.ru