пятница, 27 июня 2014 г.

OSINT. Сбор информации на основе открытых источников

Получил предложение подготовить сборник материалов по OSINT. 

Википедия дает следующее определение. Разведка на основе открытых источников (англ. Open source intelligence) — одна из разведывательных дисциплин в американской разведке. Включает в себя поиск, выбор и сбор информации, полученной из общедоступных источников и её анализ.

Известно, что каждый Penetration Test необходимо начинать со сбора информации. Пока OSINT мне видится таким расширенным Information Gathering, хотя блоги по этой тематике содержат также статьи по классическому Intelligence.

Материалы представляют собой статьи, методики, видеоматериалы. От известного всем Google Hacking до... трудно сказать до чего, до похода в организацию в качестве соискателя на какую-нибудь должность. Сейчас накопился сорокастраничный документ на английском языке. Однако статей о том, как связать результаты поиска гораздо меньше.

Дальнейший текст составлен на основе статьи The Subtle Art of OSINT (http://krypt3ia.wordpress.com/2012/01/11/the-subtle-art-of-osint/).

OSINT - это акроним Open Source Intelligence (англ. - разведка на основе открытых источников), который вошел в обиход в эпоху Интернета и простоты доступа к данным.

OSINT используется как в частном секторе, так и в военных и разведывательных службах в течении многих лет, подходы и источники информации были отобраны и упорядочены специалистами из Лэнгли (там находится штаб-квартира главной американской разведывательной организации).

Ныне OSINT доступен всем при помощи нескольких Интернет утилит или приложений, которые можно установить на свои компьютеры дома. Суть всего процесса OSINT во-первых в том, что обязательным является наличии стороны, для которой исследование будет представлять реальную ценность. Во-вторых - это "Анализ", который является ключевым для проведения оценки информации, полученной из открытых источников.

Сегодня компании используют OSINT называя его, однако, "конкурентной разведкой". Можно получить аналитическую информацию по заданной теме исследуя множество медиа и онлайн источников. Эта информация может быть экстраполирована в значимые сведения о компании, лицах, группах или странах, которые они возглавляют. Большинство таких подходов к сбору информации (harvesting) привязаны к онлайн движкам упреждающего анализа (Silobreaker.com и Basistech), которые якобы могут "предсказать будущие действия", как они утверждают. Однако, базовая идея OSINT  - это сбор информации для последующего анализа отчетов об Объекте.

Анализ может также привезти к упреждающему анализу поведения и прогнозу, однако все зависит от целей аналитика.

Анализ данных и погрешность/предвзятость

Перед тем как обозначить инструменты и методы OSINT, следует рассказать о "Анализе". Может так случится, что большая часть усилий будет потрачена на сбор информации, которая скорее сбивает с толку или попросту является "дезинформацией". Необходимо уметь отсеивать факты, комментарии и другую информацию, а затем взять то, что было собрано и тщательно проанализировать на предмет ключевой информации. Необработанная информация должна быть проанализирована и аналитик должен решить что верно, а что нет, а также назначить каждому источнику информации свой вес.

Ключ - не быть предвзятым в своем мышлении при проведении OSINT анализа. Примером может служить принятый за чистую монету репортаж Fox News. Всем известно, что Fox скорее отличается своими выдающимися репортерами, нежели объективностью информации. Однако ключевая информация может оказаться правдой. По крайней мере, чтобы создать полную картину об Объекте, необходимо сравнивать и сопоставлять, каждой собранной информации назначать свой вес. 

Важно сохранять широкий кругозор, и не позволять своему мышлению зацикливаться и плыть по течению. В противном случае, собранная информация, скорее всего будет не корректной. 

Распутывая клубок

OSINT может быть связан как с лицами, так и с организациями. В тоже время, люди на деле могут являться частью движения или группы, что сопоставимо реальной компании, таким образом макро и микро исследования очень связаны. 

Для подтверждения информации может пригодиться и непосредственное взаимодействие с Объектом. Процесс OSINT живой, и аналитик должен быть готов к такому взаимодействию. Надо следовать подсказкам, задавать вопросы, вести подробные записи, чтобы потом воспользоваться их содержимым. Ключевым является проверка данных и источников, подобно хорошим детективам и репортерам.

Google
Google Search может предоставить много информации для OSINT. Хотя надо стать адептом "Google Hacking", чтобы использовать все возможности Google, т.е. научиться владеть ключами и запросами, которые позволяют получить более детальные результаты. Написано много книг по этой теме, вот несколько базовых запросов, которые могут быть полезны:
  • site:.gov | .mil inurl:/FOUO/ filetype:pdf
  • site:.mil | .gov "FOUO" filetype:pdf
  • site:.mil | .gov FOUO filetype:pdf
  • site:.mil | .gov //SIGINT filetype:pdf
  • Типы файлов могут быть различными: .xls .pdf .txt и т.д.
Тот же подход использует пентестер для поиска уязвимостей, доступных документов, позволяющих получить доступ к их системам.

Можно использовать Google Alerts для автоматизированного поиска по ключевым словам. Сервис информирует по почте о результатах при каждом новом обнаружении роботами. Удобно то, результат приходит прямо в руки и нет необходимости осуществлять ручной поиск. Поиск применим не только для строк, но и для целых выражения (например в случае поиска плагиата).

Кэш

Google Cache предоставляет архивную информацию активных сайтов, архивы отключенных сайтов доступны на сайтах типа Wayback Machine (http://archive.org/web/), созданный для поиска информации по сайтам, владельцы которых не хотят больше публиковать свою информацию.

Поиск по социальным сетям

Twitter, Facebook, Tumbler и прочие социальные сети - это отличный источник информации, где люди, компании и организации выкладывают множество информации, которую не следовало бы размещать. Представленные ниже сайты собирают подобную информацию с помощью поисковых систем и предлагают ее (иногда в графической форме).


  • Silobreaker.com
  • recordedfuture.com
  • Socialmention.com
  • addictomatic.com
  • whostalking.com
  • SamePoint.com
  • newsnow.co.uk

WHOIS и подобные инстументы... ROBTEX

Лицо может попробовать скрыть факт владения доменом. Это мера может оказаться запоздалой, так как по информации о домене можно сказать довольно многое. Есть много соответствующих инструментов, они легко находятся Google'ом. Часть из них предоставляет связанную информацию, например Robtex.

Robtex хорош тем, что предоставляет информацию о домене, о IP-адресе, на котором находится ресурс, о владельце домена, а также о том, какие еще домены используют это же серверное пространство.


InfoSniper

InfoSniper - это поисковик с "геолокацией" для IP адресов и доменов, который может указать где сервер находится физически. Такой поиск становится важным в случае расследований, где важна юрисдикция.

Maltego

Maltego - это метапоисковая система и графическая\релационная утилита для анализа базы данных, которую называют швейцарским ножом для сбора данных и OSINT. С помощью каждодневных обновлений, можно получить множество данных, которые могут быть обработаны вплоть до готового результата.




Maltego и "Реляционное отображение". Отличная штука в Maltego - это наличие маппинга информации в соответствии с ее весом. Это позволяет смотреть на карту и видеть связи между данными, кто с кем взаимодействует и контактирует, как данные соотносятся между собой. Это то, к чему необходимо привыкнуть и использовать в OSINT. 

Paterva "Casefile"

Новый продукт компании Paterva, что-то вроде "Maltego Light", однако есть одно серьезное преимущество. Это цифровая белая доска или "доска убийств" как в фильмах о полиции. Можно прикрепить имена и фотографии, создать "case" файлы. 

 

Сервисы перевода

Думаю для русскоговорящей аудитории они в представлении не нуждаются.

Итог

Анализ - это ключевой фактор, без должного внимания, хороших заметок ("case" файлов или карт) можно закончить с большим объемом информации, который на деле нельзя будет интерпретировать. 

Важно хорошо понимать цель, над которой идет работа, без которой сбор информации будет бесполезным.

В общем, балуемся с инструментами и собираем информацию о целях, экстраполируем в действенные данные.


1 комментарий:

  1. Добрый день, Рустам!

    Предлагаю принять участие в нашем проекте, делясь своими новостями из Вашего блога и других ресурсов, которые вы читаете. Это позволит привлечь Вам дополнительную аудиторию, а сообществу узнать больше из мира информационной безопасности.

    Проект news.informationsecurity.club - Новостной веб-агрегатор.
    Ресурс с рейтинговой системой для распространения ссылок на актуальные, интересные и нужные статьи, ресурсы, сервисы в сети интернет среди сообщества в сфере информационных технологий и безопасности.

    О проекте можно немного больше прочитать тут - http://www.informationsecurity.club/news/
    С правилами можно ознакомиться тут - http://news.informationsecurity.club/rules.php

    Готов ответить на Ваши вопросы.

    ОтветитьУдалить