Поиск
Теги
Aliexpress 181
BLM 21
Calella 147
exler.ru 315
авто 480
аудио 7
Барселона 110
Беларусь 34
бытовуха 1503
в мире 154
вакцинация 18
велосипед 40
видео 4348
вино 363
война 624
выставки 217
гаджеты 1839
гламурье 23
детишки 46
ебанариум 23
еда 545
ЕС 87
железо 361
животные 239
жулики 248
забавно 2138
здоровье 103
игры 119
Израиль 113
ИИ 72
интересно 391
Интернет 1305
искусство 302
Испания 1250
истории 156
история 9
Италия 8
картинки 626
Каталония 136
кино 1643
Китай 6
книги 229
коронабесие 119
коронавирус 298
коронажизнь 65
кретинизм 322
криминал 1
маньяна 19
маразм 218
Маск 45
медицина 47
мне пишут 49
мои фото 218
Мордор 2872
Москва 20
музыка 921
наука 10
новости 27
о высоком 155
о низком 292
обновление 3148
паноптикум 176
поездки 1094
полезное 7
попы 201
праздники 22
происшествия 133
разное 1528
ребенок 13
реклама 426
связь 18
сериал 163
скандалы 11
скорблю 131
СМИ 2896
софт 978
социалка 187
спорт 139
США 223
СЭКС 44
технологии 183
толерастия 12
Трамп 155
трэш 9
туры 19
Украина 47
фотография 210
Франция 48
шарлатаны 31
шоу 6
экотерроризм 27
Экслер 1085
юмор 22
видео 4348
обновление 3148
СМИ 2896
Мордор 2872
забавно 2138
гаджеты 1839
кино 1643
разное 1528
бытовуха 1503
Интернет 1305
Испания 1250
поездки 1094
Экслер 1085
софт 978
музыка 921
картинки 626
война 624
еда 545
авто 480
реклама 426
интересно 391
вино 363
железо 361
кретинизм 322
exler.ru 315
искусство 302
коронавирус 298
о низком 292
жулики 248
животные 239
книги 229
США 223
мои фото 218
маразм 218
выставки 217
фотография 210
попы 201
социалка 187
технологии 183
Aliexpress 181
паноптикум 176
сериал 163
истории 156
о высоком 155
Трамп 155
в мире 154
Calella 147
спорт 139
Каталония 136
происшествия 133
скорблю 131
игры 119
коронабесие 119
Израиль 113
Барселона 110
здоровье 103
ЕС 87
ИИ 72
коронажизнь 65
мне пишут 49
Франция 48
Украина 47
медицина 47
детишки 46
Маск 45
СЭКС 44
велосипед 40
Беларусь 34
шарлатаны 31
экотерроризм 27
новости 27
гламурье 23
ебанариум 23
юмор 22
праздники 22
BLM 21
Москва 20
туры 19
маньяна 19
вакцинация 18
связь 18
ребенок 13
толерастия 12
скандалы 11
наука 10
история 9
трэш 9
Италия 8
аудио 7
полезное 7
Китай 6
шоу 6
криминал 1
Информация
Что ещё почитать
Король Талсы. Второй сезон
10.07.2025
32
Петербургские азуры гипоксидных арбузов
18.07.2025
98
ну ввела я эту строку. ДСП выпало 128 документов 2004-2008 годов, причем все совершенно однотипные с лабудой какой-то. Секретно выпало 48 документов, но если их открыть, там вымарано все. В чем кипеж?
Я никогда эту ерунду не использовал и всегда предпочитал избавляться от роботов небольшим модулем, который загружался перед любым скриптом (соответствующая настройка в php.ini) и по юзер-агенту, а также некоторым поведенческим характеристикам (например, блокировка IP-адреса после 7,5,3 входов без куки), просто показывал роботу пустую страницу.
В правилах Яндекса, правда, кажется было упоминание о том, что запрещается подставлять роботу страницу, оптимизированную для него, но пустая страница вместо страницы, на которой роботу делать нечего, - это несколько иное, нежели вывод кучи сеошных ссылок, и в подтверждение этого за 10 лет ни разу не блокировали.
Плюс этот метод позволяет вести очень точную статистику и добавлять еще один уровень защиты от DDoS.
2) Инет-магазины - а что-ж вы не прописали свои "секретные" урлы в robots.txt
3) ЖД-билеты - опять роботс
4) Правительственные доки - опять тот же роботс.
Прочие возражения как-то игнорируются СМИ, акцент, с нарастающим накалом - на robots.txt
Посыл лежит на поверхности - если у вас на сайте есть приватные документы или папки, самое время указать их доборовольно. Просто, перечислите их все в пресловутом файле, и мы вам гарантируем, что в поиске их никто не увидит. Спасибо. Время пошло.
При этом, правда, почему-то не учитывается, что robots.txt открыт всем желающим (наберите, например, http://www.exler.ru/robots.txt - и можете полюбопытствовать, что в папочках у Алекса, о которых вы и не знали).
Ладно хоть "особой важности" нет...
В целом удручает.
Допрыгался. Вор должен сидеть в тюрьме!
Это ж файл созданный для того, чтоб сократить расходы разведслужбам 😄
Чего там в "мусоре" копаться, заглядываешь в robots.txt, и сразу видишь, какие разделы индексировать, чтоб "половить рыбку". 😉
Являются. По крайней мере тот, что я глянул. "Для служебного пользования" написано справа-вверху белым по белому 😄 Воспользуйтесь в Ворде поиском, а потом измените цвет шрифта.
А отмазки про robots.txt - это для лохов и блондинок.
И к сведению robots.txt является рекомендацией для роботов, а не 3-мя законами Азимова. Тот же яндекс-бот спокойно лазает по запрещенным урлам, просто они не попадают в поиск. Но если в запрещенной для индексирования странице окажется уникальная ссылка на разрешенную, то она в поиск уже попадет.
ФАС и Счетная палата опровергли факт утечки секретных документов
lenta.ru/news/2011/07/26/railleak/
Конкретно в случае с этими документами сложно назвать причину. Но про другие скандальные находки последних дней могу рассказать.
1. «закрытие от индексирования» — это всего лишь рекомендация поисковику, что не стоит индексировать эту страницу (или ее часть). Т.е. именно «закрыть» не так то просто.
2. очень многие сайты используют «секретные» URL'ы. Для подтверждения регистрации, для отслеживания заказа, для восстановления пароля и т.д. Дело в том, что такой УРЛ удобно отправлять по почте. И учитывая что этот секретный УРЛ знает только получатель письма — можно надеятся, что на страницу больше6 никто не попадет.
3. есть общепринятое представление, как работают поисковики:
- адрес сайт сообщается поисковику
- поисковый краулер бегает по всем ссылкам сайта, заходит на все страницы, анализирует их содержимое и индексирует.
То есть — исходя из этого принципа по секретному URL поисковик перейти не мог в принципе.
НО! В действительности оказалось, что кроме открытых ссылок поисковик индексировал страницы на которых был установлен код Яндекс-метрики. В том числе и те секретные из п.п. 2. Возможно то же происходит, если установлен Яндекс-бар.
Нигде такая особенность работы не афишировалась!
В общем я не стал бы все валить на админов. Вина поисковиков по крайней мере не меньше.
Все приличные сайты, с которыми я сталкивался, защищают подобные страницы авторизацией.
И уж точно используют https
Секретных URL не бывает по определению. Кроме того, если все-таки хочется использовать подобную схему, есть довольно способов обеспечения безопасности, даже если эта ссылка и попадет поисковику. Например: ограничение срока действия ссылки, ограничения количества переходов по ссылке и т.п.
abarmot: То есть — исходя из этого принципа по секретному URL поисковик перейти не мог в принципе.
Если такая страница каким-либо образом ссылается на сторонний ресурс (картинка, счетчик, баннер), либо с такой страницы переходят по ссылке на сторонний ресурс, то адрес этой страницы уже передается третей стороне.
Что уж говорить о "секретных" документах, если недавно задержанный по подозрению в педофилии сотрудник Пенсионного фонда РФ занимался преступными действиями в том числе и в своем рабочем кабинете, через Интернет. Такое впечатление, что какая-либо фильтрация трафика там вообще отсутствует.
ЗЫ это яркий пример как ЦРУ руками куплденнного ими гугла пытается навредить нашей стране, а диссидентам из майл.ру видимо мало денег дали
ЗЗЫ онищенке пора запретить смартфоны на андроиде как отрицательно воздействующие на психику россиян
А еще можно побаловаться с тегами "совершенно секретно" и посмотреть какие статьи в законах о бюджете не должны стать достоянием общественности 😄
Я не работаю админом ни на одном правительственном сайте.
И не только это: почему вообще для подобных вещей http, а не https используется?
И не только это: почему вообще для подобных вещей http, а не https используется?
Почему вообще документы ДСП выкладывают на сайт?
Искомая комбинация слов нигде не встречается.
Без кавычек попробуйте.