Дерзания и свершения. Учимся работать с robot.txt

Не успели утихнуть страсти по утечке в открытый доступ SMS с сайта «Мегафона» через кэш Яндекса, как обнаружилось, что в кэш поисковика попали так же закрытые фотоальбомы с сайта streamphoto.ru.

Вот такие страсти кипят в рунете в последнее время... То одни приватные данные попадают в Сеть и доступны для просмотра всем желающим, то другие; впору бы предположить некую активизацию почтенного сообщества хакеров в пору окончания сезона отпусков... но нет. На поверку - волна скандалов, вызванных утечкой в Сеть информации, совершенно не предназначенной для обнародования - берет начало всего лишь от беспечности вебмастеров, создателей того или иного web-ресурса (причем, как выясняется, это далеко не любительские блоги, а довольно крупные и всем известные порталы); либо - от вопиющего невежества тех же самых вебмастеров, создателей и администраторов этих самых крутых web-порталов.

Раздосадованный Яндекс, в свете последних событий, решил таки разориться на небольшой бесплатный урок, цель которого - научить чудо-горе-мастеров правильному обращению с файлом robot.txt, что без всяких проблем позволяет избежать индексации закрытых материалов сайта поисковиками; и, как следствие - предотвращает утечку приватной информации в Сеть. Что, казалось бы, может быть проще - прописать разделы сайтв в robot.txt? но, как показывают последние события - именно это умение оказалось за гранью понимания многих крутых "профессионалов" своего дела.

Итак, именно для таких суперпрофи Яндекс "запалил тему", встречайте; секретные рекомендации, разработанные в недрах Сколково или же где-то в глубине Силиконовой долины; тайна за семью печатями, похищенная из лабораторий российских генералов... видеоролик для вебмастеров, раскрывающий тайну файла robot.txt.