Big Data: развитие технологий, риски и новые перспективы
Большие данные стали одним из ключевых ресурсов современной экономики. Компании и государственные структуры ежедневно получают огромные массивы информации из корпоративных систем, мобильных приложений, социальных сетей, онлайн-магазинов, датчиков и подключенных устройств. Ценность Big Data заключается не только в количестве сведений, но и в возможности быстро находить в них закономерности, прогнозировать события и принимать решения на основе фактов.
Сегодня управление структурированной и неструктурированной информацией актуально как для отдельных предприятий, так и для государства. Бизнес стремится лучше понимать клиентов, сокращать расходы, повышать качество сервиса и заранее оценивать риски. Государственные организации используют аналитику для развития транспорта, здравоохранения, городской инфраструктуры и повышения эффективности управления.
Как меняется рынок больших данных
Одной из главных тенденций становится развитие аналитических платформ, способных работать с машинным обучением и искусственным интеллектом. По прогнозам IDC, рынок технологий Big Data и бизнес-аналитики должен был расти примерно на 11,9% ежегодно вплоть до 2020 года. Наибольший интерес у компаний вызывают решения, которые помогают анализировать поведение потребителей, сегментировать аудиторию и строить прогнозы.
Особое влияние на рынок оказывает интернет вещей - IoT. Различные датчики и устройства постоянно передают сведения о работе оборудования, перемещении грузов, потреблении энергии и действиях пользователей. Крупные инвестиции направлялись в промышленность, логистику, энергетику и потребительский сектор. В дальнейшем особенно быстрый рост ожидался в страховании, здравоохранении, розничной торговле и сфере услуг.
Например, страховая компания может анализировать стиль вождения клиента и точнее рассчитывать стоимость полиса. Магазин - прогнозировать спрос и автоматически формировать ассортимент. Промышленное предприятие - заранее обнаруживать признаки поломки оборудования и проводить обслуживание до возникновения аварии.
Специалисты и управление данными
Расширение рынка приводит к росту спроса на аналитиков, инженеров данных, архитекторов информационных систем, специалистов по машинному обучению и экспертов по защите информации. Однако для успешного проекта недостаточно только технических сотрудников. В компании должна быть выстроена система управления данными: определены правила их сбора, хранения, очистки, классификации и использования.
Все более заметной становится должность директора по управлению данными - Chief Data Officer, или CDO. Такой руководитель отвечает за развитие аналитики, формирование единой стратегии работы с информацией, интеграцию данных в бизнес-процессы и контроль информационной безопасности. В его задачи также входит оценка качества данных и обеспечение взаимодействия между ИТ-подразделениями, руководством и функциональными отделами.
Проблема многих организаций состоит в том, что информация хранится разрозненно. Отделы используют разные форматы, базы не связаны между собой, а одинаковые показатели могут рассчитываться по различным правилам. Поэтому перед внедрением сложных аналитических платформ важно провести аудит информационной инфраструктуры и определить, какие данные действительно нужны бизнесу.
Основные характеристики Big Data
Традиционно большие данные описывают с помощью нескольких характеристик, известных как "четыре V":
- Volume - объем информации;
- Variety - разнообразие форматов и источников;
- Velocity - скорость поступления и обработки;
- Veracity - достоверность и надежность.
Иногда добавляют еще один показатель - Value, то есть ценность данных для организации. Сам по себе огромный массив информации не приносит пользы, если он не помогает решать конкретные задачи. В отдельных моделях также используется понятие неопределенности: часть сведений может быть неполной, противоречивой или сложной для интерпретации.
Данные бывают структурированными, например таблицы и записи в учетных системах, а также неструктурированными - изображения, тексты, аудио, видео и сообщения пользователей. Существуют и частично структурированные источники, которые содержат определенные метки и поля, но не имеют единой табличной формы.
Социальные данные как отдельное направление
Большой интерес вызывает обработка сведений из социальных сетей, форумов, видеоплатформ и других цифровых сервисов. Это направление иногда рассматривается как самостоятельная область, объединяющая социологические вычисления, науку о больших данных, аналитику и вычислительную социологию.
Социальные данные позволяют изучать общественные настроения, реакцию людей на события, интересы различных групп и особенности коммуникации. При этом понятия Big Data и науки о социальных больших данных не являются полностью равнозначными: большие данные включают гораздо более широкий круг источников - от промышленных сенсоров до банковских операций.
Анализ социальных данных применяется для изучения спроса, оценки репутации брендов, выявления информационных тенденций и улучшения клиентского сервиса. Но такая работа требует особенно внимательного отношения к согласию пользователей, обезличиванию информации и ограничению доступа.
Реальные и мнимые риски
Обсуждение Big Data часто сопровождается опасениями, часть которых преувеличена, а часть имеет вполне конкретные основания. Одним из известных примеров стала история Cambridge Analytica. Компания получила доступ к данным почти 50 миллионов пользователей социальной сети. Сначала часть людей добровольно прошла психологический тест и согласилась на обработку собственных сведений. Однако затем были использованы данные их друзей, которые отдельного разрешения на это не давали.
Полученная информация применялась для создания психологических профилей и показа персонализированной рекламы. Этот случай показал, что формальное согласие одного пользователя не всегда означает законность использования данных, связанных с другими людьми. Кроме того, пользователи часто не понимают, какой объем информации собирается о них и для каких целей он будет применяться.
Одним из реальных рисков является утечка данных. Злоумышленники могут получить доступ к финансовой информации, медицинским сведениям, учетным записям и корпоративным системам. Последствиями становятся мошенничество, шантаж, репутационный ущерб и прямые финансовые потери.
Существует и другая опасность - ошибочные решения, принятые на основе неполных или искаженных данных. Алгоритм может неправильно оценить кредитоспособность клиента, отказать кандидату в трудоустройстве или определить человека как подозрительного из-за некорректной модели. Поэтому автоматизация не отменяет необходимости контроля со стороны специалистов.
Как снизить угрозы
Безопасная работа с Big Data начинается с принципа минимизации: организация должна собирать только те сведения, которые необходимы для конкретной задачи. Не следует хранить данные бессрочно, если в них больше нет практической потребности. Важны также четкие правила удаления, архивирования и предоставления доступа.
Для защиты применяются шифрование, многофакторная аутентификация, разграничение полномочий, журналирование действий и регулярное тестирование инфраструктуры. Особенно важно разделять доступ к персональным данным и аналитическим результатам, когда для работы достаточно обезличенной информации.
Не менее существенны прозрачность и объяснимость алгоритмов. Пользователь должен понимать, какие сведения используются, какова цель их обработки и может ли он отказаться от определенных операций. В организациях необходимо назначать ответственных за качество информации и регулярно проверять модели на наличие систематических ошибок.
Big Data и цифровая экономика
Большие данные являются фундаментом цифровой экономики. Они связывают между собой искусственный интеллект, интернет вещей, автоматизацию, облачные платформы и электронные сервисы. Чем точнее организация умеет работать с информацией, тем быстрее она адаптируется к изменениям рынка.
Однако внедрение Big Data не должно превращаться в самоцель. Дорогая платформа не решит проблемы, если в компании отсутствуют понятные бизнес-задачи, качественные источники и подготовленные сотрудники. На практике лучший результат дают поэтапные проекты: сначала выбирается конкретная проблема, затем создается пилотное решение, оценивается эффект и только после этого технология масштабируется.
Перспективы развития Big Data связаны с объединением различных источников, ростом роли искусственного интеллекта и переходом к аналитике в реальном времени. Системы будут не только описывать уже произошедшие события, но и самостоятельно выявлять угрозы, формировать рекомендации и запускать заранее заданные сценарии.
В то же время дальнейшее развитие отрасли потребует более строгих правил обращения с персональной информацией, повышения цифровой грамотности и подготовки новых специалистов. Будущее больших данных зависит не только от мощности вычислительных систем, но и от того, насколько ответственно компании и государство будут использовать полученные сведения.
