IPAddress-Lookup.com

Объяснение принципа работы черных списков IP-адресов: почему вас внесли в список и как из него выйти

IPAddress-Lookup.com ·

Вы отправляете важное письмо, и оно незаметно исчезает в папке «Спам» или, что ещё хуже, возвращается с непонятной ошибкой, в которой упоминается «черный список». Внезапно ваши сообщения перестают доходить до клиентов, коллег или друзей, и вы не имеете ни малейшего представления, почему. В большинстве случаев виновником является черный список IP-адресов: общедоступная база данных, в которой конкретный IP-адрес помечается как известный источник спама, вредоносного ПО или других злоупотреблений. Поскольку огромная часть почтовых серверов по всему миру сверяется с этими списками перед приемом любого сообщения, попадание в такой список может незаметно лишить вас возможности доставлять электронную почту буквально за одну ночь. В этом руководстве подробно объясняется, что такое черные списки IP-адресов, как они работают на уровне DNS, почему адрес попадает в такой список и, самое главное, какие конкретные шаги вы можете предпринять, чтобы выйти из списка и оставаться в «чистом» списке.

Что такое черный список IP-адресов?

Черный список IP-адресов, более формально известный как DNSBL (DNS-based Blackhole List) или список блокировки, представляет собой опубликованный список IP-адресов, которые были связаны с нежелательной или вредоносной деятельностью. Подавляющее большинство таких списков распространяется через систему доменных имен (DNS), поэтому их и называют «основанными на DNS». Вместо того чтобы загружать огромный файл с заблокированными адресами, почтовый сервер просто запрашивает DNS-информацию об IP-адресе отправителя и мгновенно узнает, внесен ли этот адрес в список. Благодаря этому проверка по черным спискам происходит чрезвычайно быстро, не требует больших ресурсов и легко интегрируется в существующую почтовую инфраструктуру, что во многом объясняет, почему такие списки стали стандартным средством защиты от спама в Интернете.

Эта концепция возникла в конце 1990-х годов, когда объёмы спама впервые резко возросли, и администраторам потребовался общий способ в режиме реального времени отклонять известных злоумышленников. Вместо того чтобы каждый сервер самостоятельно выявлял, с каких адресов рассылается мусор, операторы чёрных списков объединили эту информацию в центральные базы данных, к которым любой мог обращаться бесплатно. Сегодня тысячи почтовых серверов полагаются на несколько хорошо организованных списков, которые фильтруют значительную долю входящего спама, не давая ему попасть в почтовый ящик пользователя. Единого главного черного списка не существует: десятки организаций ведут свои собственные списки, каждый из которых имеет свои критерии и правила удаления, поэтому один и тот же адрес может фигурировать в одном списке и при этом быть абсолютно чистым во всех остальных.

Как работает механизм DNS-запросов

Гениальность DNSBL заключается в том, что он использует обычный механизм DNS, на котором уже работает весь Интернет. Если вам не совсем понятны основы преобразования имен, сначала стоит быстро ознакомиться с нашим вводным руководством о том, как работает DNS, потому что принцип работы черного списка — это, по сути, просто умное применение стандартного DNS-поиска.

Когда почтовый сервер получает соединение от IP-адреса отправителя, ему необходимо узнать, фигурирует ли этот адрес в конкретном черном списке. Чтобы задать этот запрос, он берёт IP-адрес отправителя, меняет порядок октетов на обратный и добавляет к нему домен черного списка. Предположим, что подключающийся сервер имеет IP-адрес 192.0.2.5, и вы хотите проверить его по вымышленному списку на сайте bl.example.org. Почтовый сервер меняет порядок четырёх октетов, получая 5.2.0.192, а затем формирует имя хоста для запроса: 5.2.0.192.bl.example.org.

Затем он выполняет обычный поиск «записи A» в DNS по этому имени хоста. Результат сообщает серверу всю необходимую информацию:

  • Если поиск не возвращает записи (NXDOMAIN), IP-адрес отсутствует в списке. Сообщение пропускается для дальнейшей проверки.
  • Если поиск возвращает ответ, IP-адрес включён в список. Ответ почти всегда представляет собой адрес из диапазона 127.0.0.0/8, например 127.0.0.2, 127.0.0.3 или 127.0.0.10. Эти «коды возврата» не являются реальными адресами, а представляют собой кодированные сигналы, которые сообщают почтовому серверу, по какой причине IP-адрес был занесен в список, например, был ли он помечен как спам, как динамический домашний адрес или как известный прокси-сервер.

Многие чёрные списки также публикуют соответствующую запись TXT для занесённого в список адреса, которая содержит понятное для человека объяснение и часто ссылку на страницу удаления из списка. Поскольку каждый список присваивает собственное значение каждому коду возврата, администраторы могут точно настраивать степень своей реакции: одни коды могут вызывать полный отказ, в то время как другие просто добавляют баллы к спам-рейтингу.

Различные типы списков

Не все чёрные списки работают одинаково или нацелены на одно и то же. Понимание категорий поможет вам правильно интерпретировать включение в список и определить, к кому следует обратиться.

Спам и IP-DNSBL

Это классические списки, которые помечают отдельные IP-адреса, замеченные в рассылке спама или демонстрирующие спамоподобное поведение. Когда люди говорят «мы попали в черный список», они почти всегда имеют в виду один из них. Попадание в такой список напрямую влияет на то, будет ли ваша почта принята.

Списки URI и доменов (URIBL/DBL)

Вместо перечисления IP-адресов отправителей эти списки содержат домены и URL-адреса, встречающиеся в тексте спам-сообщений. Фильтр извлекает все ссылки из письма и сверяет домены со списком. Даже законно отправленное письмо может быть заблокировано, если оно содержит ссылку на домен из списка, поэтому так важна «гигиена» доменов, на которые вы ссылаетесь.

Списки политик

Списки политик не обязательно обвиняют адрес в каких-либо нарушениях. Вместо этого они определяют политику в отношении того, к какому типу относится данный адрес. Наиболее распространенным примером является список диапазонов динамических или домашних IP-адресов — адресов, присваиваемых домашним широкополосным и мобильным подключениям. Такие адреса не должны напрямую отправлять почту в Интернет, поэтому многие серверы отклоняют почту с них в соответствии с политикой, независимо от того, рассылал ли этот конкретный адрес спам когда-либо.

Списки уязвимостей, прокси-серверов и комбинированные списки

Некоторые списки сосредоточены конкретно на взломанных машинах, открытых ретрансляторах, открытых прокси и хостах, зараженных ботнетами. Наконец, «комбинированные» или «зональные» списки объединяют несколько категорий в один запрос, чтобы сервер мог одновременно проверять источники спама, хосты с уязвимостями и диапазоны, подпадающие под политику, что быстрее и проще в настройке.

Краткий обзор основных черных списков IP-адресов

Существуют десятки черных списков, но наибольшее значение имеет относительно небольшая группа, поскольку к ним обращаются многие почтовые провайдеры. В приведенной ниже таблице представлены наиболее влиятельные из них, их охват и общая репутация.

Черный список Тип / направленность Примечания о репутации и исключении из списка
Spamhaus ZEN Объединенная зона (SBL + XBL + PBL) Самый широко используемый запрос; объединяет все списки Spamhaus в один поиск.
Spamhaus SBL Источник спама (проверен вручную) Содержит списки подтвержденных спам-операций; авторитетный и основанный на фактических данных.
Spamhaus XBL Эксплойты, ботнеты, открытые прокси Генерируются автоматически с заражённых и взломанных машин; удаление из списка происходит после очистки.
Spamhaus PBL Список политик (динамические/частные диапазоны) Адреса, с которых не следует отправлять почту напрямую; часто возможно самостоятельное удаление из списка.
SpamCop (SCBL) Источник спама (на основе сообщений) Быстрое внесение в список на основе пользовательских сообщений, но записи также быстро удаляются автоматически.
Barracuda (BRBL) Репутация источников спама Широко используется устройствами Barracuda; бесплатный поиск и форма запроса на удаление.
SORBS Спам, прокси-серверы, динамические диапазоны Исторически агрессивный сервис; для исключения из списка может потребоваться тщательно составленный и честный запрос.
UCEPROTECT Уровни эскалации (от отдельного IP до всего ASN) На более высоких уровнях в список включаются целые сети; это вызывает споры, и предлагается платная услуга ускоренного исключения из списка.

Важность веса: попадание в список Spamhaus нанесет гораздо больший ущерб, чем попадание в малоизвестный список, к которому редко обращаются, просто потому, что большее количество принимающих серверов доверяют Spamhaus и запрашивают данные у него. Если вы обнаружили, что попали сразу в несколько списков, уделяйте приоритетное внимание тем из них, которые пользуются наибольшим распространением.

Почему IP-адрес попадает в список

Черные списки не добавляют адреса наугад. Всегда есть конкретный повод, и определение того, какой из них применим к вам, — первый шаг к решению проблемы. К наиболее распространенным причинам относятся:

  • Рассылка спама. Самая очевидная причина: массовая рассылка нежелательной почты или даже легитимные маркетинговые сообщения, отправленные по купленным или устаревшим спискам, которые вызывают жалобы и попадания в спам-ловушки.
  • Деятельность вредоносного ПО или ботнетов. Если устройство в вашей сети заражено, оно может без вашего ведома рассылать спам или трафик атак, что быстро приводит к попаданию в списки уязвимостей, такие как Spamhaus XBL.
  • Открытый ретранслятор или открытый прокси-сервер. Неправильно настроенный почтовый сервер, ретранслирующий почту для любого желающего, или открытый прокси-сервер — это заманчивая цель для спамеров, и такие серверы быстро попадают в списки.
  • Скомпрометированное устройство или учетная запись. Даже один взломанный почтовый ящик или веб-сайт с уязвимой контактной формой может рассылать тысячи сообщений, подрывая репутацию вашего IP-адреса.
  • Плохая репутация отправителя. Высокий процент отказов, частые жалобы на спам, внезапные скачки объемов рассылки и низкий уровень вовлеченности — все это сигнализирует о поведении, похожем на злоупотребление, даже если ваши намерения благонамеренны.
  • Общие или повторно используемые IP-адреса. Если вы используете общий хостинг или облачный IP-адрес, предыдущий «сосед» или предыдущий владелец повторно используемого адреса мог попасть в черный список, и вы унаследовали эту репутацию не по своей вине.

Как попадание в черный список ухудшает доставляемость и репутацию

Непосредственным следствием попадания в черный список является блокировка или отсрочка доставки почты. Когда принимающий сервер запрашивает список и находит совпадение, он может сразу отклонить ваше соединение с сообщением об отказе, незаметно перенаправить ваше сообщение в папку со спамом или поместить вас в «серый список» с временными отсрочками. Любой из этих исходов означает, что ваши сообщения не доходят до адресатов надежным образом.

В долгосрочной перспективе ущерб касается репутации. Современные почтовые сервисы, такие как Gmail, Outlook и Yahoo, используют собственные системы оценки репутации, и попадание в публичный черный список может повлиять на эти показатели, ухудшая доставляемость даже у тех провайдеров, которые напрямую не запрашивают этот список. Особенно болезненной является потеря транзакционных сообщений, писем о сбросе пароля, подтверждений и напоминаний о встречах, поскольку клиенты предполагают, что электронная почта просто не работает, и вместо этого открывают заявки в службу поддержки. Для компаний длительное нахождение в списке может привести к потере дохода, подрыву доверия и часам работы инженеров, потраченным на устранение последствий.

Как проверить, включены ли вы в список

Прежде чем устранять проблему, необходимо подтвердить её наличие и точно определить, в каких списках вы фигурируете. Самый быстрый способ — использовать инструмент проверки по нескольким спискам, который одновременно запрашивает десятки крупных DNSBL и сообщает о каждом совпадении. Вы можете проверить свой IP-адрес отправителя с помощью нашего инструмента проверки черных списков IP, чтобы за считанные секунды узнать, фигурирует ли он в списках Spamhaus, SpamCop, Barracuda, SORBS, UCEPROTECT и многих других.

При проверке учтите несколько моментов:

  • Проверяйте точный IP-адрес, с которого отправляется ваша почта; зачастую это исходящий IP-адрес вашего почтового сервера, а не IP-адрес вашего веб-сайта или домашнего подключения.
  • Если вы отправляете почту через стороннего провайдера, соответствующий IP-адрес может принадлежать ему, и для устранения проблемы может потребоваться обратиться в его службу поддержки, а не действовать самостоятельно.
  • Запишите каждый список, в котором вы фигурируете, вместе с кодом ошибки и любыми пояснениями в записи TXT, поскольку для каждого из них предусмотрен свой собственный процесс удаления и свои причины.

Пошаговый процесс исключения из списка

Исключение из черного списка редко происходит мгновенно, но следует предсказуемой последовательности действий. Поспешное нажатие кнопки «удалить меня» до устранения первопричины почти всегда приводит к обратному результату, поскольку вас просто снова внесут в список в течение нескольких часов.

  1. Определите причину. Прочитайте код возврата и запись TXT для каждого списка, затем перейдите на страницу поиска вашего IP-адреса в данном списке. Авторитетные списки точно объясняют, почему вас добавили, и часто показывают примеры доказательств, такие как временная метка попадания в спам-ловушку или тип обнаруженного уязвимого места.
  2. Устраните основную проблему. Примите меры в соответствии с тем, на что указывают доказательства. Просканируйте и очистите все зараженные устройства, закройте открытый ретранслятор или прокси, установите исправления для взломанного веб-сайта или формы, сбросьте пароли взломанных почтовых ящиков и прекратите рассылку в списки, которые генерируют жалобы. Исключение из списка без устранения этой проблемы бессмысленно.
  3. Обеспечьте безопасность источника. Как только неотложная проблема будет решена, укрепите источник, чтобы ситуация не повторилась. Настройте соответствующую запись обратного DNS (PTR) для вашего IP-адреса отправителя, введите аутентификацию для исходящей почты, обеспечьте использование надежных паролей и ограничения скорости отправки, своевременно устанавливайте обновления для программного обеспечения и отслеживайте объем исходящей почты на предмет аномалий.
  4. Подайте запрос на удаление из каждого списка. У каждого черного списка своя процедура. В некоторых, таких как SpamCop, записи автоматически удаляются по истечении периода без активности и не требуют никаких действий. Другие предоставляют форму самообслуживания, где вы вводите свой IP-адрес и подтверждаете, что проблема устранена. Списки, основанные на политиках, такие как Spamhaus PBL, часто позволяют самостоятельно удалить адреса, которым действительно необходимо отправлять почту. Для списков, обновляемых вручную, вам, возможно, потребуется отправить краткий, честный и основанный на фактах запрос на удаление, в котором опишите, что произошло и как вы это исправили. Никогда не подавайте ложные заявления; операторы проверяют информацию.
  5. Подождите, а затем проверьте. После успешного отправления запроса дайте время, чтобы изменения распространились по кэшам DNS; это может занять от нескольких минут до одного-двух дней в зависимости от списка. Проверьте с помощью инструмента для работы с черными списками, чтобы убедиться, что запись удалена, и следите за повторным попаданием в список, что может означать, что первопричина не устранена полностью.

Предупреждение относительно удаления из списка: не удаляйте себя из списка повторно, пока злоупотребление продолжается. Некоторые операторы наказывают рецидивистов, замедляя процесс удаления в будущем или повышая уровень опасности записи. Сначала устраните проблему, а затем удалите запись из списка один раз.

Рекомендации по предотвращению попадания в черные списки в будущем

Гораздо проще не попадать в черные списки, чем из них выходить. Несколько устойчивых привычек помогут сохранить вашу репутацию отправителя на высоком уровне.

Аутентифицируйте свою почту с помощью SPF, DKIM и DMARC

Эти три стандарта на основе DNS подтверждают, что ваша почта действительно приходит от вас. SPF указывает, какие серверы имеют право отправлять почту от имени вашего домена, DKIM криптографически подписывает каждое сообщение, а DMARC объединяет эти два механизма и указывает получателям, как поступать с почтой, которая не прошла проверку. Правильно настроенная аутентификация в настоящее время фактически является обязательной у крупных провайдеров и значительно снижает вероятность того, что вас пометят как поддельный или подозрительный источник.

Проведите «разминку» новых IP-адресов и доменов

Совершенно новый IP-адрес отправителя не имеет репутации, и массовая рассылка с него сразу же выглядит как поведение спамера. Проводите «разминку» постепенно, увеличивая объем рассылки в течение нескольких дней и недель, начиная с ваших самых активных получателей, чтобы серверы-получатели сформировали положительную историю для этого адреса.

Соблюдайте правила поддержания списка рассылки

Отправляйте письма только тем, кто просил получать от вас сообщения, по возможности используйте подтвержденное согласие на подписку и незамедлительно удаляйте адреса с жесткими отскоками и отписавшихся. Никогда не покупайте и не собирайте списки адресов; они изобилуют спам-ловушками, из-за которых вас почти мгновенно занесут в черный список. Регулярно удаляйте неактивные адреса, чтобы поддерживать высокий уровень вовлеченности.

Ведите постоянный мониторинг

Настройте регулярную проверку черных списков и следите за показателями отказов и жалоб. Подключитесь к системам обратной связи, предлагаемым крупными почтовыми провайдерами, чтобы своевременно узнавать о жалобах. Обнаружение проблемы в первые часы, до того как она получит широкое распространение, — это разница между незначительным сбоем и многодневным кризисом с доставкой.

Часто задаваемые вопросы

Сколько времени требуется, чтобы быть исключенным из черного списка?

Это зависит от конкретного списка. В некоторых, таких как SpamCop, записи автоматически удаляются в течение одного-двух дней после прекращения нарушений. Другие обрабатывают запросы на удаление в течение нескольких минут или часов после отправки, в то время как списки, которые обновляются вручную, могут занять больше времени, если ваш запрос проверяется человеком. После удаления подождите некоторое время, пока обновятся кэши DNS, прежде чем все серверы увидят изменения.

Могу ли я попасть в черный список, даже если никогда не рассылал спам?

Да. Вы можете оказаться в списке из-за повторного использования или совместного использования IP-адреса, предыдущий пользователь которого нарушал правила, попасть в список динамических домашних диапазонов по политике, или у вас может быть скомпрометированное устройство или взломанный почтовый ящик, отправляющий письма без вашего ведома. В любом случае проверка указанной причины включения в список позволит вам понять, является ли причиной ваше поведение или что-то совершенно другое.

Влияет ли попадание в черный список на мой сайт или только на электронную почту?

Черные списки IP-адресов (DNSBL) в первую очередь влияют на доставляемость электронной почты, поскольку именно к ним обращаются почтовые серверы. Как правило, они не блокируют обычный веб-трафик. Однако если IP-адрес вашего сайта включен в список, а он также отправляет почту, или если домен вашего сайта фигурирует в списке URI/доменов из-за того, что на него была ссылка в спаме, это может косвенно нанести ущерб как репутации электронной почты, так и репутации сайта.

Какой черный список имеет наибольшее значение?

Spamhaus, в частности его объединенная зона ZEN, обычно считается наиболее значимым, поскольку к нему обращается огромное количество почтовых серверов по всему миру. Попадание в этот список нанесет гораздо больший ущерб доставляемости, чем появление в небольшом, редко используемом списке, поэтому устранение этой проблемы, как правило, должно быть вашим первоочередным приоритетом.

Стоит ли платить за ускоренное исключение из черного списка?

Большинство авторитетных черных списков предлагают бесплатное удаление после того, как вы действительно устраните проблему, поэтому платить редко бывает необходимо. Некоторые операторы предлагают платное «экспресс-удаление», но эта практика вызывает споры. Сначала сосредоточьтесь на устранении первопричины и воспользуйтесь бесплатным способом удаления; если проблема действительно решена, бесплатное удаление из списка почти всегда срабатывает.

Как проверить, внесен ли мой IP-адрес в список в данный момент?

Воспользуйтесь инструментом проверки по нескольким спискам, который одновременно запрашивает данные из многих DNSBL, например, нашим инструментом «Проверка черного списка IP». Введите точный исходящий IP-адрес, с которого отправляется ваша почта, просмотрите каждый список, в котором вы фигурируете, вместе с указанной причиной, и используйте эту информацию для выполнения шагов по удалению из списка, описанных выше.