Адрес для входа в РФ: exler.wiki
Найдется все!
27.07.2011 11:04
11749
Комментарии (53)
А чего все "Яндекс", да "Яндекс"? Тем более что "Яндекс" тут вообще как бы не при чем - виноваты криворукие админы, которые содержимое сайтов от индексирования не закрывают. Кроме того, найдется все далеко не только в "Яндексе". И далеко не только сведения об SMS или покупках в интернет-магазинах.
Введите в Google простенькую строчку "allintitle: для служебного пользования site:gov.ru". Узнаете много очень интересного об уровне компетентности админов правительственных сайтов.
Войдите, чтобы оставить комментарий.
я дико извиняюсь, но может, я что-то неправильно делаю?
ну ввела я эту строку. ДСП выпало 128 документов 2004-2008 годов, причем все совершенно однотипные с лабудой какой-то. Секретно выпало 48 документов, но если их открыть, там вымарано все. В чем кипеж?
ну ввела я эту строку. ДСП выпало 128 документов 2004-2008 годов, причем все совершенно однотипные с лабудой какой-то. Секретно выпало 48 документов, но если их открыть, там вымарано все. В чем кипеж?
Конечно, robots.txt всегда был большой дыркой, раскрывающей секретные папки и шаблоны GET-параметров для скриптов. Для хакера - просто шоколад, потому что не надо тратить время на лазание по сайту и выяснение его структуры.
Я никогда эту ерунду не использовал и всегда предпочитал избавляться от роботов небольшим модулем, который загружался перед любым скриптом (соответствующая настройка в php.ini) и по юзер-агенту, а также некоторым поведенческим характеристикам (например, блокировка IP-адреса после 7,5,3 входов без куки), просто показывал роботу пустую страницу.
В правилах Яндекса, правда, кажется было упоминание о том, что запрещается подставлять роботу страницу, оптимизированную для него, но пустая страница вместо страницы, на которой роботу делать нечего, - это несколько иное, нежели вывод кучи сеошных ссылок, и в подтверждение этого за 10 лет ни разу не блокировали.
Плюс этот метод позволяет вести очень точную статистику и добавлять еще один уровень защиты от DDoS.
Я никогда эту ерунду не использовал и всегда предпочитал избавляться от роботов небольшим модулем, который загружался перед любым скриптом (соответствующая настройка в php.ini) и по юзер-агенту, а также некоторым поведенческим характеристикам (например, блокировка IP-адреса после 7,5,3 входов без куки), просто показывал роботу пустую страницу.
В правилах Яндекса, правда, кажется было упоминание о том, что запрещается подставлять роботу страницу, оптимизированную для него, но пустая страница вместо страницы, на которой роботу делать нечего, - это несколько иное, нежели вывод кучи сеошных ссылок, и в подтверждение этого за 10 лет ни разу не блокировали.
Плюс этот метод позволяет вести очень точную статистику и добавлять еще один уровень защиты от DDoS.
Лет 6 назад, в Upgrade (может ошибаюсь и это было в Upgrade Special) на эту тему была довольно большая статья, правда примером там выступал не gov.ru. Видимо кому то надо было панику сейчас поднять...
1) Мегафон - вопли о криворуких вебадминах, не прописавших "секретные" урлы в robots.txt
2) Инет-магазины - а что-ж вы не прописали свои "секретные" урлы в robots.txt
3) ЖД-билеты - опять роботс
4) Правительственные доки - опять тот же роботс.
Прочие возражения как-то игнорируются СМИ, акцент, с нарастающим накалом - на robots.txt
Посыл лежит на поверхности - если у вас на сайте есть приватные документы или папки, самое время указать их доборовольно. Просто, перечислите их все в пресловутом файле, и мы вам гарантируем, что в поиске их никто не увидит. Спасибо. Время пошло.
При этом, правда, почему-то не учитывается, что robots.txt открыт всем желающим (наберите, например, http://www.exler.ru/robots.txt - и можете полюбопытствовать, что в папочках у Алекса, о которых вы и не знали).
2) Инет-магазины - а что-ж вы не прописали свои "секретные" урлы в robots.txt
3) ЖД-билеты - опять роботс
4) Правительственные доки - опять тот же роботс.
Прочие возражения как-то игнорируются СМИ, акцент, с нарастающим накалом - на robots.txt
Посыл лежит на поверхности - если у вас на сайте есть приватные документы или папки, самое время указать их доборовольно. Просто, перечислите их все в пресловутом файле, и мы вам гарантируем, что в поиске их никто не увидит. Спасибо. Время пошло.
При этом, правда, почему-то не учитывается, что robots.txt открыт всем желающим (наберите, например, http://www.exler.ru/robots.txt - и можете полюбопытствовать, что в папочках у Алекса, о которых вы и не знали).
fon: почему-то не учитывается, что robots.txt открыт всем желающим
Да там не только секретные, но и совсекретные вылазят по соответствующему запросу. Ндя... ((
Ладно хоть "особой важности" нет...
В целом удручает.
Ладно хоть "особой важности" нет...
В целом удручает.
Для интереса "ru" заменил на "kz", тоже много чего интересного гугл выдал 😄
Секретные, не секретные...Вы попробуйте в этом запросе поставить "порно" и сразу будет понятно многое о том, кто работает с серверами tomsk.gov.ru.
Про файл robots.txt
Это ж файл созданный для того, чтоб сократить расходы разведслужбам 😄
Чего там в "мусоре" копаться, заглядываешь в robots.txt, и сразу видишь, какие разделы индексировать, чтоб "половить рыбку". 😉
Это ж файл созданный для того, чтоб сократить расходы разведслужбам 😄
Чего там в "мусоре" копаться, заглядываешь в robots.txt, и сразу видишь, какие разделы индексировать, чтоб "половить рыбку". 😉
К слову, документы (по крайней мере некоторые - все смотреть у меня времени не было) имеют в свойствах "Для служебного пользования", хотя по факту таковыми явно не являются. Люди их создававшие, очевидно, вколачивали в шаблон не помотрев на его свойства.
ClaudFrollo: К слову, документы (по крайней мере некоторые - все смотреть у меня времени не было) имеют в свойствах "Для служебного пользования", хотя по факту таковыми явно не являются. Люди их создававшие, очевидно, вколачивали в шаблон не помотрев на его свойства.
Являются. По крайней мере тот, что я глянул. "Для служебного пользования" написано справа-вверху белым по белому 😄 Воспользуйтесь в Ворде поиском, а потом измените цвет шрифта.
Вообще-то на результаты работы формы, которая заполняется пользователем паучку по ссылкам не попасть никак. То что они попали в работу вообще - заслуга шпионских баров, которые палили запросы от пользователей. Так что это попалился яндекс бар и вроде бы еще метрика от него же.
А отмазки про robots.txt - это для лохов и блондинок.
И к сведению robots.txt является рекомендацией для роботов, а не 3-мя законами Азимова. Тот же яндекс-бот спокойно лазает по запрещенным урлам, просто они не попадают в поиск. Но если в запрещенной для индексирования странице окажется уникальная ссылка на разрешенную, то она в поиск уже попадет.
А отмазки про robots.txt - это для лохов и блондинок.
И к сведению robots.txt является рекомендацией для роботов, а не 3-мя законами Азимова. Тот же яндекс-бот спокойно лазает по запрещенным урлам, просто они не попадают в поиск. Но если в запрещенной для индексирования странице окажется уникальная ссылка на разрешенную, то она в поиск уже попадет.
Говорят, Яндекс в суде уже отмазался по аналогичному поводу. Думаю, что и у админов получится. И крайних не будет.
Думаю, что в этот раз кто-то таки сядет. Найдут одмина-козла отпущения и устроят показательный процесс.
Самое смешное, что новость то уже ощутимо долго не новость, а документы как лежали в сободном доступе так и лежат. Цирк какой-то.
Все не так однозначно, как вы пишете, Алекс.
Конкретно в случае с этими документами сложно назвать причину. Но про другие скандальные находки последних дней могу рассказать.
1. «закрытие от индексирования» — это всего лишь рекомендация поисковику, что не стоит индексировать эту страницу (или ее часть). Т.е. именно «закрыть» не так то просто.
2. очень многие сайты используют «секретные» URL'ы. Для подтверждения регистрации, для отслеживания заказа, для восстановления пароля и т.д. Дело в том, что такой УРЛ удобно отправлять по почте. И учитывая что этот секретный УРЛ знает только получатель письма — можно надеятся, что на страницу больше6 никто не попадет.
3. есть общепринятое представление, как работают поисковики:
- адрес сайт сообщается поисковику
- поисковый краулер бегает по всем ссылкам сайта, заходит на все страницы, анализирует их содержимое и индексирует.
То есть — исходя из этого принципа по секретному URL поисковик перейти не мог в принципе.
НО! В действительности оказалось, что кроме открытых ссылок поисковик индексировал страницы на которых был установлен код Яндекс-метрики. В том числе и те секретные из п.п. 2. Возможно то же происходит, если установлен Яндекс-бар.
Нигде такая особенность работы не афишировалась!
В общем я не стал бы все валить на админов. Вина поисковиков по крайней мере не меньше.
Конкретно в случае с этими документами сложно назвать причину. Но про другие скандальные находки последних дней могу рассказать.
1. «закрытие от индексирования» — это всего лишь рекомендация поисковику, что не стоит индексировать эту страницу (или ее часть). Т.е. именно «закрыть» не так то просто.
2. очень многие сайты используют «секретные» URL'ы. Для подтверждения регистрации, для отслеживания заказа, для восстановления пароля и т.д. Дело в том, что такой УРЛ удобно отправлять по почте. И учитывая что этот секретный УРЛ знает только получатель письма — можно надеятся, что на страницу больше6 никто не попадет.
3. есть общепринятое представление, как работают поисковики:
- адрес сайт сообщается поисковику
- поисковый краулер бегает по всем ссылкам сайта, заходит на все страницы, анализирует их содержимое и индексирует.
То есть — исходя из этого принципа по секретному URL поисковик перейти не мог в принципе.
НО! В действительности оказалось, что кроме открытых ссылок поисковик индексировал страницы на которых был установлен код Яндекс-метрики. В том числе и те секретные из п.п. 2. Возможно то же происходит, если установлен Яндекс-бар.
Нигде такая особенность работы не афишировалась!
В общем я не стал бы все валить на админов. Вина поисковиков по крайней мере не меньше.
abarmot: очень многие сайты используют «секретные» URL'ы. Для подтверждения регистрации, для отслеживания заказа, для восстановления пароля и т.д.
Все приличные сайты, с которыми я сталкивался, защищают подобные страницы авторизацией.
И уж точно используют https
abarmot: 2. очень многие сайты используют «секретные» URL'ы. Для подтверждения регистрации, для отслеживания заказа, для восстановления пароля и т.д.
Секретных URL не бывает по определению. Кроме того, если все-таки хочется использовать подобную схему, есть довольно способов обеспечения безопасности, даже если эта ссылка и попадет поисковику. Например: ограничение срока действия ссылки, ограничения количества переходов по ссылке и т.п.
abarmot: То есть — исходя из этого принципа по секретному URL поисковик перейти не мог в принципе.
Если такая страница каким-либо образом ссылается на сторонний ресурс (картинка, счетчик, баннер), либо с такой страницы переходят по ссылке на сторонний ресурс, то адрес этой страницы уже передается третей стороне.
Секретных URL не бывает по определению. Кроме того, если все-таки хочется использовать подобную схему, есть довольно способов обеспечения безопасности, даже если эта ссылка и попадет поисковику. Например: ограничение срока действия ссылки, ограничения количества переходов по ссылке и т.п.
abarmot: То есть — исходя из этого принципа по секретному URL поисковик перейти не мог в принципе.
Если такая страница каким-либо образом ссылается на сторонний ресурс (картинка, счетчик, баннер), либо с такой страницы переходят по ссылке на сторонний ресурс, то адрес этой страницы уже передается третей стороне.
А вы наберите вместо ДСП "Совершенно секретно", там еще несколько бумажек будет:)
Оперативно лента.ру подсуетилась - www.lenta.ru/news/2011/07/27/oogoo/
Первая ссылка из поиска - на сайт ФАС , куча других - на страницы Счетной палаты. Открываются документы формата DOC и PDF.
Что уж говорить о "секретных" документах, если недавно задержанный по подозрению в педофилии сотрудник Пенсионного фонда РФ занимался преступными действиями в том числе и в своем рабочем кабинете, через Интернет. Такое впечатление, что какая-либо фильтрация трафика там вообще отсутствует.
Что уж говорить о "секретных" документах, если недавно задержанный по подозрению в педофилии сотрудник Пенсионного фонда РФ занимался преступными действиями в том числе и в своем рабочем кабинете, через Интернет. Такое впечатление, что какая-либо фильтрация трафика там вообще отсутствует.
собссна гугл предоставляет ссылки на ДСП, а поиск майлл.руболее политкорректен, на сами документы ссылок нет, но на маленькую статейку есть
ЗЫ это яркий пример как ЦРУ руками куплденнного ими гугла пытается навредить нашей стране, а диссидентам из майл.ру видимо мало денег дали
ЗЗЫ онищенке пора запретить смартфоны на андроиде как отрицательно воздействующие на психику россиян
ЗЫ это яркий пример как ЦРУ руками куплденнного ими гугла пытается навредить нашей стране, а диссидентам из майл.ру видимо мало денег дали
ЗЗЫ онищенке пора запретить смартфоны на андроиде как отрицательно воздействующие на психику россиян
Не совсем на эту тему, но, пользователи QIP, думайте головой 😄
Ой Алекс, как бы за вами не выехали или не встретили на границе при возвращении. Берегите себя! 😄
А еще можно побаловаться с тегами "совершенно секретно" и посмотреть какие статьи в законах о бюджете не должны стать достоянием общественности 😄
А еще можно побаловаться с тегами "совершенно секретно" и посмотреть какие статьи в законах о бюджете не должны стать достоянием общественности 😄
Vasilkysk: Ой Алекс, как бы за вами не выехали или не встретили на границе при возвращении. Берегите себя!
Я не работаю админом ни на одном правительственном сайте.
Alex Exler: виноваты криворукие админы, которые содержимое сайтов от индексирования не закрывают
И не только это: почему вообще для подобных вещей http, а не https используется?
Michaell:
И не только это: почему вообще для подобных вещей http, а не https используется?
И не только это: почему вообще для подобных вещей http, а не https используется?
Почему вообще документы ДСП выкладывают на сайт?
Весело 😄
Искомая комбинация слов нигде не встречается.
vyachik:
Искомая комбинация слов нигде не встречается.
Искомая комбинация слов нигде не встречается.
Без кавычек попробуйте.
Теги
Информация
Что ещё почитать
