«Воздушная математика».Большие данные в мире гражданской авиации. Большие данные (Big Data) и технологии навигации автомобилей ближайшего будущего Как ты использовал технологии Big Data в своей практике

20.04.2021

О ЧЕМ РЕЧЬ?

Суть дела в том, что в настоящее время решается вопрос применения электронных виз для иностранных граждан, прибывающих в Российскую Федерацию . По мнению Ассоциации "Безопасность туризма" применение таких виз с использованием специальных цифровых технологий без интеграции в них системы миграционного и регистрационного учета туристов в гостиницах и упомянутых выше услуг по "карте гостя" не имеет смысла. Это не государственный подход.

По нашему мнению, системный, государственный подход должен включать в себя учет всех этих элементов. Турист должен пройти регистрацию на границы единожды, получив электронную метку, а затем передвигаться по стране, регистрироваться в гостиницах (уже без миграционного учета), посещать без проблем музеи, получать различные скидки, пользоваться общественным транспортом бесплатно или со скидками. И при этом данный подход позволит - как обеспечить национальную безопасность, фиксируя передвижения иностранцев, так и освободить отельеров от головной боли регистрационного и миграционного учета, а органам управления туризмом в субъектах РФ получать информацию о наиболее популярных объектах региона (города) и на ее основе формировать туристские предложения, тем самым получая максимальную выгоду.

И ДЛЯ ЭТОГО УЖЕ ВСЕ ЕСТЬ!

А именно Постановление Правительства Российской Федерации еще 6 августа 2015 года №813, которым утверждено Положение о государственной системе миграционного и регистрационного учета, реализация которого может существенно повлиять на гостеприимство и увеличение въездного туристического потока в целом. Именно об этом 06 декабря 2018 года в Совете Федерации говорил Председатель Правления Ассоциации "Безопасность туризма" Сергей Груздь участникам круглого стола на тему «Актуальные вопросы применения электронных виз для иностранных граждан, прибывающих в Российскую Федерацию, и совершенствования законодательства Российской Федерации в этой сфере»

Напомним, что вопросы совершенствования миграционного и регистрационного учета, упрощения визового режима, разработки и внедрения единого биометрического идентификатора для путешествий станут предметом обсуждения в рамках Международного форума "Безопасность туризма" - TSIF - 2019. Данный Форум - ключевое профессиональное мероприятие, на котором представители органов власти, профессионального сообщества и бизнеса на одной площадке обсуждают актуальные вопросы обеспечения безопасности туризма. Форматом Форума предусмотрены 4 секционных заседания.

Москва – огромный мегаполис с 11 979 529 жителей, по данным переписи населения 2013 года. Каждый из них ездит на работу, пользуется мобильным телефоном (а то и не одним), спускается в метро, стоит в пробках. За всем этим следят городские службы, государственные органы, частные компании, предоставляющие различные сервисы. Тысячи видеокамер, сотни тысяч датчиков, мониторов, которые контролируют жизнь города, миллионы мобильных телефонов, 3G/4G-модемов. А все вместе это миллиарды источников данных, обрабатывая которые можно получить информацию для дальнейшего планирования развития города, управления его транспортными потоками, обеспечения безопасности мегаполиса. Одним из немногих инструментов, способных справиться с обработкой такого количества информации, являются решения класса Big Data. Для начала рассмотрим, где они могут быть использованы.

Плотность проживания населения и данные о перемещении жителей

Основным инструментом определения численности и структуры населения, его распределения по местности на текущий момент является перепись. Основной недостаток переписи – стоимость её проведения и отсутствие данных о движении жителей. Источником информации для переписи служат сами жители, опрос которых проводится по месту их проживания.

Какие преимущества может предоставить использование решений Big Data? Для ответа на данный вопрос сначала определим, какие данные нам необходимы:

где ночуют и работают жители;
откуда и куда они ездят в будни и выходные;
каким транспортом пользуются москвичи и гости столицы;
откуда приезжают в город и зачем.

Для сбора этой информации нам в первую очередь необходимо определиться с источником данных и методом их анализа. Для определения местоположения жителя самым оптимальным является использование данных о местоположении его сотового телефона (он всегда с собой). Как это сделать?

Можно получить:

данные от сотовых операторов о местоположении телефонного аппарата;
данные от специализированных сервисов (таких, как “Яндекс.Пробки”);
данные от мобильных приложений со встроенным функционалом определения местоположения, предоставляемых городом для удобства жителей.

Для анализа полученной информации могут быть использованы различные алгоритмы в зависимости от источника, формата, способа их предоставления. Но вот основные положения.

Определение места, где ночуют жители и где работают, может быть получено путем анализа данных о перемещении и совершённых действиях. Например, периодическое отсутствие звонков с 22:00 до 7:00 и отсутствие перемещения покажет, где человек живет, а отсутствие перемещений в рабочие часы – где тот же человек работает, причем одним из критериев, повышающих точность, будет наличие активности телефонного аппарата абонента в данном местоположении. Здесь же можно будет определить, как часто человек перемещается в рабочее время, сколько людей в городе занимают должности, связанные с постоянным передвижением (курьеры, водители и другие профессии).

Определение направления перемещений жителей осуществляется аналогично, по тем же данным о перемещении абонентов сотовой связи, и позволяет выделить основные потоки перемещений местных жителей, приезжих, трудовых мигрантов, собрать статистику перемещений по районам и направлениям, узнать, как часто жители и гости посещают магазины, культурные мероприятия, городские достопримечательности, а также насколько популярны те или иные места в городе.

Отслеживая скорость перемещения и посещённые места, можно выделить, каким транспортом пользуется человек: автомобиль, метро, наземный общественный транспорт, междугородный транспорт.

Анализ работы городской инфраструктуры и обеспечение безопасности населения

Большое количество светофоров, систем управления городским движением, систем видеорегистрации событий (камеры наблюдения), контроль общественного транспорта в рамках города с населением более миллиона человек требует скоординированного подхода в управлении и централизации данных. Одной из проблем, выявленных в свое время при внедрении систем общегородского видеонаблюдения, стала невозможность контроля происходящих событий (например, с целью выявления неправомерных действий) силами оперативных дежурных. Учитывая текущие возможности современных технологий, становится возможным создание единых распределённых систем, обеспечивающих как распознавание событий по различным источникам (системы регулирования движения, камеры наблюдения и прочие), так и их аналитику с целью оперативной реакции: вызов полиции, сотрудников ремонтных организаций, иных оперативных служб города. Другим применением решений Big Data является распределенное и длительное хранение собранной информации, осуществление поиска необходимых данных и связанных с ними событий. Чем было вызвано то или иное изменение ситуации в городе, какие события ему предшествовали, на кого они повлияли – вот маленькая часть вопросов, на которые позволяют ответить «большие данные».

Сопоставление данных

Одним из ключевых моментов происходящих событий является определение характеристик объектов, в них участвующих. Для сбора данных могут быть использованы совершенно различные источники: например, для данных, полученных от оператора сотовой связи, – характеристики физического лица, на которого зарегистрирована сим-карта, для систем наблюдения – сведения от систем распознавания лиц, ведомственные базы данных. Одним из ключевых моментов является возможность анонимизации информации, исключения персональных составляющих при передаче данных от различных владельцев, источников.

Основные проблемы

И всё же во всём этом есть ложка дегтя. Основной проблемой всех интеграционных решений, особенно если обмен данными осуществляется между разными ведомствами, организациями, являются законодательные ограничения, которые не позволяют предоставлять данные в том виде, в котором они существуют. Как следствие – требуется предварительная их обработка на стороне владельца.

Итого

Подводя итог, хотелось бы отметить, что современные технологии обработки “больших данных” позволяют предоставить городу значительно больше, чем существующие ИТ-сервисы. При этом не требуется обновлять существующую инфраструктуру, так как могут быть использованы те источники данных, которые есть в настоящий момент.

С помощью решений класса Big Data можно повысить удобство жителей города и его гостей, уменьшить количество пробок не за счёт ограничений на въезд в город, а путём управления транспортными потоками, снизить количество преступлений благодаря оперативной реакции, повысить качество предоставления городских услуг вследствие их оперативного и автоматического контроля.

«Big Data» - тема, которая активно обсуждается технологическими компаниями. Некоторые из них успели разочароваться в больших данных, другие - напротив, максимально используют их для бизнеса… Свежий аналитический обзор отечественного и мирового рынка «Big Data», подготовленный Московской Биржей совместно с аналитиками «IPOboard », показывает, какие тренды наиболее актуальны сейчас на рынке. Надеемся, информация будет интересной и полезной.

ЧТО ТАКОЕ BIG DATA?

Ключевые характеристики

Большие Данные, на сегодняшний момент, являются одним из ключевых драйверов развития информационных технологий. Это направление, относительно новое для российского бизнеса, получило широкое распространение в западных странах. Связано это с тем, что в эпоху информационных технологий, особенно после бума социальных сетей, по каждому пользователю интернета стало накапливаться значительное количество информации, что в конечном счете дало развитие направлению Big Data.

Термин «Большие Данные» вызывает множество споров, многие полагают, что он означает лишь объем накопленной информации, но не стоит забывать и о технической стороне, данное направление включает в себя технологии хранения, вычисления, а также сервисные услуги.

Следует отметить, что к данной сфере относится обработка именно большого объема информации, который затруднительно обрабатывать традиционными способами*.

Ниже представлена сравнительная таблица традиционной и базы Больших Данных.

Сфера Больших Данных характеризуется следующими признаками:
Volume – объем, накопленная база данных представляет собой большой объем информации, который трудоемко обрабатывать и хранить традиционными способами, для них требуются новый подход и усовершенствованные инструменты.
Velocity – скорость, данный признак указывает как на увеличивающуюся скорость накопления данных (90% информации было собрано за последние 2 года), так и на скорость обработки данных, в последнее время стали более востребованы технологии обработки данных в реальном времени.
Variety – многообразие, т.е. возможность одновременной обработки структурированной и неструктурированной разноформатной информации. Главное отличие структурированной информации – это то, что она может быть классифицирована. Примером такой информации может служить информация о клиентских транзакциях.
Неструктурированная информация включает в себя видео, аудио файлы, свободный текст, информацию, поступающую из социальных сетей. На сегодняшний день 80% информации входит в группу неструктурированной. Данная информация нуждается в комплексном анализе, чтобы сделать ее полезной для дальнейшей обработки.
Veracity – достоверность данных, все большее значение пользователи стали придавать значимость достоверности имеющихся данных. Так, у интернет-компаний есть проблема по разделению действий, проводимых роботом и человеком на сайте компании, что приводит в конечном счете к затруднению анализа данных.
Value – ценность накопленной информации. Большие Данные должны быть полезны компании и приносить определенную ценность для нее. К примеру, помогать в усовершенствовании бизнес-процессов, составлении отчетности или оптимизации расходов.

При соблюдении указанных выше 5 условий, накопленные объемы данных можно относить к числу больших.

Сферы применения Больших Данных

Сфера использования технологий Больших Данных обширна. Так, с помощью Больших Данных можно узнать о предпочтениях клиентов, об эффективности маркетинговых кампаний или провести анализ рисков. Ниже представлены результаты опроса IBM Institute, о направлениях использования Big Data в компаниях.

Как видно из диаграммы, большинство компаний используют Большие Данные в сфере клиентского сервиса, второе по популярности направление – операционная эффективность, в сфере управления рисками Большие Данные менее распространены на текущий момент.

Следует также отметить, что Big Data являются одной из самых быстрорастущих сфер информационных технологий, согласно статистике, общий объем получаемых и хранимых данных удваивается каждые 1,2 года.
За период с 2012 по 2014 год количество данных, ежемесячно передаваемых мобильными сетями, выросло на 81%. По оценкам Cisco, в 2014 году объем мобильного трафика составил 2,5 эксабайта (единица измерения количества информации, равная 10^18 стандартным байтам) в месяц, а уже в 2019 году он будет равен 24,3 эксабайтам.
Таким образом, Большие Данные – это уже устоявшаяся сфера технологий, даже несмотря на относительно молодой ее возраст, получившая распространение во многих сферах бизнеса и играющая немаловажную роль в развитии компаний.

Технологии Больших Данных

Технологии, используемые для сбора и обработки Больших Данных, можно разделить на 3 группы:

Программное обеспечение;
Оборудование;
Сервисные услуги.

К наиболее распространенным подходам обработки данных (ПО) относятся:
SQL – язык структурированных запросов, позволяющий работать с базами данных. С помощью SQL можно создавать и модифицировать данные, а управлением массива данных занимается соответствующая система управления базами данных.
NoSQL – термин расшифровывается как Not Only SQL (не только SQL). Включает в себя ряд подходов, направленных на реализацию базы данных, имеющих отличия от моделей, используемых в традиционных, реляционных СУБД. Их удобно использовать при постоянно меняющейся структуре данных. Например, для сбора и хранения информации в социальных сетях.
MapReduce – модель распределения вычислений. Используется для параллельных вычислений над очень большими наборами данных (петабайты* и более). В программном интерфейсе не данные передаются на обработку программе, а программа – данным. Таким образом запрос представляет собой отдельную программу. Принцип работы заключается в последовательной обработке данных двумя методами Map и Reduce. Map выбирает предварительные данные, Reduce агрегирует их.
Hadoop – используется для реализации поисковых и контекстных механизмов высоконагруженных сайтов – Facebook, eBay, Amazon и др. Отличительной особенностью является то, что система защищена от выхода из строя любого из узлов кластера, так как каждый блок имеет, как минимум, одну копию данных на другом узле.
SAP HANA – высокопроизводительная NewSQL платформа для хранения и обработки данных. Обеспечивает высокую скорость обработки запросов. Еще одним отличительным признаком является то, что SAP HANA упрощает системный ландшафт, уменьшая затраты на поддержку аналитических систем.

К технологическому оборудованию относят:

серверы;
инфраструктурное оборудование.

Серверы включают в себя хранилища данных.
К инфраструктурному оборудованию относят средства ускорения платформ, источники бесперебойного питания, комплекты серверных консолей и др.

Сервисные услуги.
Сервисные услуги включают в себя услуги по построению архитектуры системы базы данных, обустройству и оптимизации инфраструктуры и обеспечению безопасности хранения данных.

Программное обеспечение, оборудование, а также сервисные услуги вместе образуют комплексные платформы для хранения и анализа данных. Такие компании, как Microsoft, HP, EMC предлагают услуги по разработке, развертыванию решений Больших Данных и управления ими.

Применение в отраслях

Большие Данные получили широкое распространение во многих отраслях бизнеса. Их используют в здравоохранении, телекоммуникациях, торговле, логистике, в финансовых компаниях, а также в государственном управлении.
Ниже представлено несколько примеров применения Больших Данных в некоторых из отраслей.

Розничная торговля
В базах данных розничных магазинов может быть накоплено множество информации о клиентах, системе управления запасами, поставками товарной продукции. Данная информация может быть полезна во всех сферах деятельности магазинов.

Так, с помощью накопленной информации можно управлять поставками товара, его хранением и продажей. На основании накопленной информации можно прогнозировать спрос и поставки товара. Также система обработки и анализа данных может решить и другие проблемы ритейлера, например, оптимизировать затраты или подготовить отчетность.

Финансовые услуги
Большие Данные дают возможность проанализировать кредитоспособность заемщика, также они полезны для кредитного скоринга* и андеррайтинга**. Внедрение технологий Больших Данных позволит сократить время рассмотрения кредитных заявок. С помощью Больших Данных можно проанализировать операции конкретного клиента и предложить подходящие именно ему банковские услуги.

Телеком
В телекоммуникационной отрасли широкое распространение Большие Данных получили у сотовых операторов.
Операторы сотовой связи наравне с финансовыми организациями имеют одни из самых объемных баз данных, что позволяет им проводить наиболее глубокий анализ накопленной информации.
Главной целью анализа данных является удержание существующих клиентов и привлечение новых. Для этого компании проводят сегментацию клиентов, анализируют их трафики, определяют социальную принадлежность абонента.

Помимо использования Big Data в маркетинговых целях, технологии применяются для предотвращения мошеннических финансовых операций.

Горнодобывающая и нефтяная промышленности
Большие Данные используются как при добыче полезных ископаемых, так и при их переработке и сбыте. Предприятия могут на основании поступившей информации делать выводы об эффективности разработки месторождения, отслеживать график капитального ремонта и состояния оборудования, прогнозировать спрос на продукцию и цены.

По данным опроса Tech Pro Research, наибольшее распространение Большие Данные получили в телекоммуникационной отрасли, а также в инжиниринге, ИТ, в финансовых и государственных предприятиях. По результатам данного опроса, менее популярны Большие Данные в образовании и здравоохранении. Результаты опроса представлены ниже:

Примеры использования Big Data в компаниях

На сегодняшний день Big Data активно внедряются в зарубежных компаниях. Такие компании, как Nasdaq, Facebook, Google, IBM, VISA, Master Card, Bank of America, HSBC, AT&T, Coca Cola, Starbucks и Netflix уже используют ресурсы Больших Данных.

Сферы применения обработанной информации разнообразны и варьируются в зависимости от отрасли и задач, которые необходимо выполнить.
Далее будут представлены примеры применения технологий Больших Данных на практике.

HSBC использует технологии Больших Данных для противодействия мошеннических операций с пластиковыми картами. С помощью Big Data компания увеличила эффективность службы безопасности в 3 раза, распознавание мошеннических инцидентов – в 10 раз. Экономический эффект от внедрения данных технологий превысил 10 млн долл. США.

Антифрод* VISA позволяет в автоматическом режиме вычислить операции мошеннического характера, система на данный момент помогает предотвратить мошеннические платежи на сумму 2 млрд долл. США ежегодно.

Суперкомпьютер Watson компании IBM анализирует в реальном времени поток данных по денежным транзакциям. По данным IBM, Watson на 15% увеличил количество выявленных мошеннических операций, на 50% сократил ложные срабатывания системы и на 60% увеличил сумму денежных средств, защищенных от транзакций такого характера.

Procter & Gamble с помощью Больших Данных проектируют новые продукты и составляют глобальные маркетинговые кампании. P&G создал специализированные офисы Business Spheres, где можно просматривать информацию в реальном времени.
Таким образом, у менеджмента компании появилась возможность мгновенно проверять гипотезы и проводить эксперименты. P&G считают, что Большие Данные помогают в прогнозировании деятельности компании.

Ритейлер офисных принадлежностей OfficeMax с помощью технологий Больших Данных анализируют поведение клиентов. Анализ Big Data позволил увеличить B2B выручку на 13%, уменьшить затраты на 400 000 долларов США в год.

По мнению Caterpillar , ее дистрибьюторы ежегодно упускают от 9 до 18 млрд долл. США прибыли только из-за того, что не внедряют технологии обработки Больших Данных. Big Data позволили бы клиентам более эффективно управлять парком машин, за счет анализа информации, поступающей с датчиков, установленных на машинах.

На сегодняшний день уже есть возможность анализировать состояние ключевых узлов, их степени износа, управлять затратами на топливо и техническое обслуживание.

Luxottica group является производителем спортивных очков, таким марок, как Ray-Ban, Persol и Oakley. Технологии Больших Данных компания применяет для анализа поведения потенциальных клиентов и «умного» смс-маркетинга. В результате Big Data Luxottica group выделила более 100 миллионов наиболее ценных клиентов и повысила эффективность маркетинговой кампании на 10%.

С помощью Yandex Data Factory разработчики игры World of Tanks анализируют поведение игроков. Технологии Больших Данных позволили проанализировать поведение 100 тысяч игроков World of Tanks с использованием более 100 параметров (информация о покупках, играх, опыт и др.). В результате анализа был получен прогноз оттока пользователей. Данная информация позволяет уменьшить уход пользователей и работать с участниками игры адресно. Разработанная модель оказалась на 20-30% эффективнее стандартных инструментов анализа игровой индустрии.

Министерство труда Германии использует Большие Данные в работе, связанной с анализом поступающих заявок на выдачу пособий по безработице. Так, проанализировав информацию, стало понятно, что 20% пособий выплачивалось незаслуженно. С помощью Big Data министерство труда сократило расходы на 10 млрд евро.

Детская больница Торонто внедрила проект Project Artemis. Это информационная система, которая собирает и анализирует данные по младенцам в реальном времени. Система ежесекундно отслеживает 1260 показателей состояния каждого ребенка. Project Artemis позволяет прогнозировать нестабильное состояние ребенка и начать профилактику заболеваний у детей.

ОБЗОР МИРОВОГО РЫНКА БОЛЬШИХ ДАННЫХ

Текущее состояние мирового рынка

В 2014 г. Большие Данные, по мнению Data Collective, стали одними из приоритетных направлений инвестирования в сфере венчурной индустрии. Согласно данным информационного портала Компьютерра, связано это с тем, что разработки из данного направления начали приносить значительные результаты для их пользователей. За прошедший год количество компаний с реализованными проектами в сфере управления большими данными увеличилось на 125%, объем рынка вырос на 45% по сравнению с 2013 годом.

Большую часть выручки рынка Big Data, по мнению Wikibon, в 2014 году составили сервисные услуги, их доля была равно 40% в общем объеме выручки (см. диаграмму ниже):

Если рассматривать Big Data за 2014 год по подтипам, то рынок будет выглядеть следующим образом:

Согласно данным Wikibon, приложения и аналитика составляет 36% выручки Big Data в 2014 году принесли приложения и аналитика Больших Данных, 17% - вычислительное оборудование и 15% - технологии хранения данных. Меньше всего выручки было сгенерировано NoSQL технологиями, инфраструктурным оборудованием и обеспечением сетью компаний (корпоративные сети).

Наибольшей популярностью пользуются такие технологии Big Data, как in-memory платформы компаний SAP, HANA, Oracle и др. Результаты опроса T-Systems показали, что их выбрали 30% опрошенных компаний. Вторыми по популярности стали NoSQL платформы (18% пользователей), также компании использовали аналитические платформы компаний Splunk и Dell, их выбрало 15% компаний. Наименее полезными для решения проблем Больших Данных, по результатам опроса оказались продукты Hadoop/MapReduce.

По данным опроса Accenture, в более чем 50% компаниях, использующих технологии Больших Данных, затраты на Big Data составляют от 21% до 30%.
Согласно следующими анализу Accenture, 76% компаний, считают, что данные расходы увеличатся в 2015 году, а 24% компаний не изменят своего бюджета на технологии Больших Данных. Это говорит о том, что в данных компаниях Big Data стали уже устоявшимся направлением ИТ, ставшим неотъемлемой частью развития компании.

Результаты опроса Economist Intelligence Unit survey подтверждают положительный эффект от внедрения Big Data. 46% компаний заявляют, что с помощью технологий Больших Данных они улучшили клиентский сервис более, чем на 10%, 33% компаний оптимизировали запасы и улучшили продуктивность основных активов, 32% компаний улучшили процессы планирования.

Большие Данные в разных странах мира

На сегодняшний день технологии Больших Данных чаще всего внедряются в компаниях США, но уже сейчас и другие страны мира начали проявлять интерес. В 2014 году, по данным IDC, на страны Европы, Ближнего Востока, Азии (за исключением Японии) и Африки пришлось 45% рынка ПО, услуг и оборудования в сфере Big Data.

Также, согласно опросу CIO, компании из стран Азиатско-Тихоокеанского региона быстрыми темпами осваивают новые решения в области анализа Больших Данных, безопасного хранения и облачных технологий. Латинская Америка находится на втором месте по количеству инвестиций в развитие технологий Больших Данных, опережая страны Европы и США.
Далее будет представлено описание и прогнозы развития рынка Больших Данных нескольких стран.

Китай
Объем информации Китая составляет 909 эксабайт, что равно 10% общего объема информации в мире, к 2020 году объем информации достигнет 8060 эксабайт, увеличится и доля информации в общемировой статистике, через 5 лет она будет равна 18%. Потенциальный рост Big Data Китая имеет одну из самых быстрорастущих динамик.

Бразилия
Бразилия по итогам 2014 года накопила информации на 212 эксабайт, что составляет 3% от общемирового объема. К 2020 году объем информации вырастет до 1600 эксабайт, что составит 4% информации всего мира.

Индия
По данным EMC, объем накопленных данных Индии по итогам 2014 года составляет 326 эксабайт, что составляет 5% от общего объема информации. К 2020 году объем информации вырастет до 2800 эксабайт, что составит 6% информации всего мира.

Япония
Объем накопленных данных Японии по итогам 2014 года составляет 495 эксабайт, что составляет 8% от общего объема информации. К 2020 году объем информации вырастет до 2200 эксабайт, но уменьшится доля рынка Японии и составит 5% об общего объема информации всего мира.
Таким образом, объем рынка Японии уменьшится на более, чем 30%.

Германия
По данным EMC, объем накопленных данных в Германии по итогам 2014 года составляет 230 эксабайт, что составляет 4% от общего объема информации в мире. К 2020 году объем информации вырастет до 1100 эксабайт и составит 2%.
На рынке Германии большую долю выручки, по прогнозам Experton Group, будет генерировать сегмент сервисных услуг, доля которых в 2015 году составит 54%, а в 2019 году увеличится до 59%, доли программного обеспечения и оборудования, наоборот, уменьшатся.

В целом, объем рынка вырастет с 1, 345 млрд евро в 2015 году до 3,198 млрд евро в 2019 году, средний темп роста составит 24%.
Таким образом, на основании аналитики CIO и EMC, можно сделать вывод о том, что развивающиеся страны мира в ближайшие годы станут рынками активного развития технологий Больших Данных.

Основные тенденции рынка

По мнению IDG Enterprise, в 2015 расходы компаний на сферу Больших Данных составят в среднем 7,4 млн долл. США на компанию, крупные компании намерены потратить примерно 13,8 млн долл. США, малые и средние – 1,6 млн долл. США.
Больше всего будет инвестировано в такие области, как анализ и визуализация данных и их сбор.
Согласно текущим тенденциям и спросу на рынке, инвестиции в 2015 году будут использованы на улучшение качества данных, совершенствование планирования и прогнозирования, а также на увеличение скорости обработки данных.
Компаниями финансового сектора, по данным Bain Company’s Insights Analysis, будут произведены значительные инвестиции, так в 2015 году планируется потратить 6,4 млрд долл. США на технологии Big Data, средний темп роста инвестиций составит 22% до 2020 года. Интернет-компании планируют потратить 2,8 млрд долл. США, средний темп роста увеличения затрат на Большие Данные составит 26%.
При проведении опроса Economist Intelligence Unit survey, были выявлены приоритетные направления развития Big Data в 2014 году и в ближайшие 3 года, распределение ответов выглядит следующим образом:

По прогнозам IDC тенденции развития рынка выглядят следующим образом:

В следующие 5 лет затраты на облачные решения в сфере технологий Больших Данных будут расти в 3 раза быстрее, чем затраты на локальные решения. Станут востребованными гибридные платформы для хранения данных.
Рост приложений с использованием сложной и прогнозной аналитики, включая машинное обучение, ускорится в 2015 году, рынок таких приложений будет расти на 65% быстрее, чем приложения, не использующие прогнозную аналитику.
Медиа аналитика утроится в 2015 году и станет ключевым драйвером роста рынка технологий Больших Данных.
Ускорится тенденция внедрения решений для анализа постоянного потока информации, которая применима для интернета вещей.
К 2018 году 50% пользователей будут взаимодействовать с сервисами, основанными на когнитивном вычислении.

Драйверы и ограничители рынка

Эксперты IDC, выделили 3 драйвера рынка Больших Данных 2015 года:

Согласно опросу Accenture, вопросы безопасности данных являются сейчас главным барьером на пути внедрения технологий Больших Данных, более 51% респондентов подтвердили, что беспокоятся за обеспечение защиты данных и их конфиденциальности. 47% компаний сообщили, о невозможности внедрения Big Data в связи с ограниченным бюджетом, 41% компаний в качестве проблемы указали нехватку квалифицированных кадров.

Wikibon прогнозирует, что объем рынка Big Data вырастет в 2015 году до 38,4 млрд долл. США и увеличится по сравнению с предыдущим годом на 36%. В ближайшие годы будет наблюдаться спад темпов роста до 10% в 2017 году. С учетом данных прогнозов, объем рынка в 2020 году будет равен 68,7 млрд долл. США.

Распределение общемирового рынка Больших Данных по бизнес-категориям будет выглядеть следующим образом:

Как видно из диаграммы, большую часть рынка будет занимать технологии из сферы улучшения клиентского сервиса. Точечный маркетинг будет на втором месте по приоритетности у компаний вплоть до 2019 года, в 2020 году, по прогнозу Heavy Reading, он уступит место решениям по улучшению операционной эффективности.
Самый высокий темп роста также будет у сегмента «улучшение клиентского сервиса», прирост - 49% ежегодно.
Прогноз рынка по подтипам Big Data будет выглядеть следующим образом:

Преобладающую долю рынка, как видно из диаграммы, занимают профессиональные услуги, самый высокий темп рост будет у приложений с аналитикой, их доля вырастет с нынешних 12% до 18% в 2020 году и объем данного сегмента будет равен 12,3 млрд долл. США, доля вычислительного оборудования, наоборот, упадет с 20% до 14% и составит порядка 9,3 млрд долл. США в 2020 году, рынок облачных технологий будет постепенно увеличиваться и в 2020 году достигнет 6,3 млрд долл. США, доля рынка решений для хранения данных, наоборот, уменьшится с 15% в 2014 году до 13% в 2020 году и в денежном выражении будет равна 8,9 млрд долл. США.
Согласно прогнозу Bain & Company’s Insights Analysis, распределение рынка Big Data по отраслям в 2020 году будет выглядеть следующим образом:

Финансовая отрасль будет осуществлять затраты на Big Data в размере 6,4 млрд долл. США со средним темпом роста 22% в год;
Интернет-компании потратят 2,8 млрд долл. США и средний темп роста затрат составит 26% за следующие 5 лет;
Затраты госсектора будут соразмерны затратам интернет-компаний, но темп роста будет ниже – 22%;
Сектор телекоммуникаций будет расти со средним темпом роста 40% и достигнет 1,2 млрд долл. США в 2020 году;

Энергетические компании будут инвестировать в данные технологии сравнительно небольшую сумму - 800 млн долл. США, но темп роста будет одним из самых высоких – 54% ежегодно.
Таким образом, большую долю рынка Big Data в 2020 году займут компании финансовой отрасли, а самым быстрорастущим сектором будет энергетика.
Следуя прогнозам аналитиков, общий объем рынка в ближайшие годы будет увеличиваться. Рост рынка будет обеспечен за счет внедрения технологий Больших Данных в развивающихся странах мира, как видно из представленного ниже графика.

Прогнозируемый объем рынка будет зависеть от того, как развивающиеся страны воспримут технологии Больших Данных, будет ли они также популярны как в развитых странах. В 2014 году развивающиеся страны мира занимали 40% от объема накопленной информации. По прогнозу EMC, нынешняя структура рынка, с преобладанием развитых стран, изменится уже в 2017 году. Согласно аналитике EMC, в 2020 году доля развивающихся стран будет более 60%.
По мнению Cisco и EMC, развивающиеся страны мира будут достаточно активно работать с Big Data, во многом это будет связано с доступностью технологий и накоплением достаточного объема информации до уровня Big Data. На карте мира, представленной на следующей странице, будет показан прогноз увеличения объема и темп роста Больших Данных по регионам.

АНАЛИЗ РОССИЙСКОГО РЫНКА

Текущее состояние российского рынка

Согласно результатам исследования CNews Analytics и Oracle, уровень зрелости российского рынка Big Data за последний год повысился. Респонденты, представляющие 108 крупных предприятий из разных отраслей, продемонстрировали более высокую степень осведомленности об этих технологиях, а также сложившееся понимание потенциала подобных решений для своего бизнеса.
По состоянию на 2014 год, по данным IDC, в России накоплено 155 эксабайт информации, что составляет всего лишь 1,8% мировых данных. Объем информации к 2020 году достигнет 980 эксабайт и займет 2,2%. Таким образом, средний темп роста объема информации составит 36% в год.
Компания IDC оценивает рынок России в 340 млн долл. США, из них 100 млн долл. США – решения SAP, примерно 240 млн долл. США – аналогичные решения Oracle, IBM, SAS, Microsoft и др.
Темп роста российского рынка Больших Данных составляет не менее, чем 50% в год.
Прогнозируется сохранение позитивной динамики в этом секторе российского рынка ИТ, даже в условиях общей стагнации экономики. Это связано с тем, что бизнес по-прежнему предъявляет спрос на решения, позволяющие повысить эффективность работы, а также оптимизацию расходов, улучшение точности прогнозирования и минимизировать возможные риски компании.
Основными провайдерами услуг в сфере Больших Данных на российском рынке являются:

Oracle
Microsoft
Cloudera
Hortonworks
Teradata.

Обзор рынка по отраслям и опыт применения Больших Данных в компаниях

По данным CNews, в России лишь 10% компаний начали использовать технологии Больших Данных, когда в мире доля таких компаний составляет порядка 30%. Готовность к проектам Big Data растет во многих отраслях экономики России - свидетельствует отчет СNews Analytics и Oracle. Более трети опрошенных компаний (37%) приступили к работе с технологиями Big Data, среди которых 20% уже используют такие решения, а 17% начинают экспериментировать с ними. Вторая треть респондентов в настоящий момент рассматривают такую возможность.

В России большей популярностью технологии Больших Данных пользуются в банковской сфере и телекоме, но они также востребованы в сфере добывающей промышленности, энергетике, ритейле, в логистических компаниях и госсекторе.
Далее будут рассмотрены примеры применения Больших Данных в российских реалиях.

Телеком
Телеком-операторы имеют одни из самых объемных баз данных, что позволяет им проводить наиболее глубокий анализ накопленной информации.
Одной из сфер применения технологии Больших Данных является управление лояльностью абонентов.
Главной целью анализа данных является удержание существующих клиентов и привлечение новых. Для этого компании проводят сегментацию клиентов, анализируют их трафики, определяют социальную принадлежность абонента. Помимо использования информации в маркетинговых целях, в телекоме технологии применяются для предотвращения мошеннических финансовых операций.
Одним из ярких примеров данной отрасли является Вымпелком. Компания применяет Большие Данные для повышения качества обслуживания на уровне каждого абонента, составления отчетности, анализа данных для развития сети, борьбы со спамом и персонализации услуг.

Банки
Значительную долю пользователей Big Data занимают специалисты из финансовой отрасли. Одним из успешных опытов был проведен в Уральском банке реконструкции и развития, где информационную базу стали использовать для анализа клиентов, банк начал предлагать специализированные кредитные предложения, вклады и другие услуги. За год использования данных технологий розничный кредитный портфель компании вырос на 55%.
В Альфа-Банке анализируют информацию из социальных сетей, обрабатывают заявки на получение кредита, анализируют поведение пользователей сайта компании.
Сбербанк также приступил к обработке массива данных с целью сегментации клиентов, предотвращения мошеннических действий, перекрестных продаж и управления рисками. В дальнейшем планируется усовершенствовать сервис и анализировать действия клиентов в режиме реального времени.
Всероссийский банк развития регионов анализирует поведение владельцев пластиковых карт. Это позволяет выявить нетипичные для конкретного клиента операции, тем самым повышается вероятность выявления воровства денежных средств с пластиковых карточек.

Розничная торговля
В России технологии Больших Данных были внедрены компаниями как онлайн, так и офлайн торговли. На сегодняшний день, по данным CNews Analytics, Big Data используют 20% ритейлеров. 75% специалистов розничной торговли считают Большие Данные необходимыми для развития конкурентоспособной стратегии продвижения компании. По статистике Hadoop после внедрения технологии Больших Данных прибыль в торговых организациях вырастает на 7-10%.
Специалисты М.Видео говорят об улучшении логистического планирования после внедрения SAP HANA, также, в результате ее внедрения, подготовка годовой отчетности сократилась с 10 дней до 3, скорость ежедневной загрузки данных сократилась с 3 часов до 30 минут.
Wikimart используют данные технологии для формирования рекомендаций посетителям сайта.
Одним из первых офлайн-магазинов внедривших анализ Больших Данных в России, была «Лента». С помощью Big Data ритейл стал изучать информацию о покупателях из кассовых чеков. Ритейлер собирает информацию для составления поведенческих моделей, что дает возможность более обоснованно принимать решения на уровне операционной и коммерческой деятельности.

Нефтегазовая отрасль
В данной отрасли сфера применения Больших Данных достаточно широка. Технологии Больших Данных могут быть применены при добычи полезных ископаемых из недр. С их помощью можно анализировать сам процесс добычи и наиболее эффективные способы его извлечения, отслеживать процесс бурения, анализ качества сырья, а также обработку и сбыт конечной продукции. В России данными технологиями стали уже пользоваться Транснефть и Роснефть.

Государственные органы
В таких странах, как Германия, Австралия, Испания, Япония, Бразилия и Пакистан технологии Больших Данных используются для решения вопросов национального масштаба. Данные технологии помогают органам государственной власти более эффективно предоставлять услуги населению, оказывать адресную социальную поддержку.
В России данные технологии стали осваивать такие государственные органы, как Пенсионный Фонд, Федеральная Налоговая Служба и Фонда обязательного медицинского страхования. Потенциал реализации проектов с использованием Big Data большой, данные технологии могли бы помочь в улучшении качества сервисов, и, как следствие, уровня жизни населения.

Логистика и транспорт
Big Data также могут быть использованы транспортными компаниями. С помощью технологий Больших Данных можно отслеживать парк автомобилей, учитывать расходы на топливо, проводить мониторинг заявок клиентов.
РЖД внедрили технологии Big Data совместно с компанией SAP. Данные технологии помогли сократить срок подготовки отчетности в 43,5 раза (с 14,5 часов до 20 минут), повысить точность распределения затрат в 40 раз. Также Big Data были внедрены в процессы планирования и тарифного регулирования. Всего компаний используется более 300 систем на базе решений SAP, задействовано 4 дата-центра, а количество пользователей составило 220 000.

Основные драйверы и ограничители рынка

Драйверами развития технологий Больших Данных на российском рынке являются:

Повышенный интерес со стороны пользователей к возможностям Больших Данных, как к способу увеличения конкурентоспособности компании;
Развитие методов обработки медиа-файлов на общемировом уровне;
Перенос серверов, обрабатывающих персональную информацию на территорию России, согласно принятому закону о хранении и обработке персональных данных;
Осуществление отраслевого плана по импортозамещению программного обеспечения. Данный план включает в себя государственную поддержку отечественных производителей ПО, а также предоставление преференций отечественной ИТ-продукции при осуществлении закупок за государственный счет.
В новой экономической ситуации, когда курс доллара вырос практически в 2 раза, будет наблюдаться тренд по все большему использованию услуг российских провайдеров облачных услуг, нежели зарубежных.
Создание технопарков, способствующих развитию рынка информационных технологий, в том числе рынка Больших Данных;
Государственная программа по внедрению грид-систем, основой которым служат технологии Больших Данных.

Основными барьерами для развития Big Data на российском рынке являются:

Обеспечение безопасности и конфиденциальности данных;
Нехватка квалифицированных кадров;
Недостаточность накопленных информационных ресурсов до уровня Big Data в большинстве российских компаний;
Сложности внедрения новых технологий в устоявшиеся информационные системы компаний;
Высокая стоимость технологий Больших Данных, что приводит к ограниченному кругу предприятий, имеющих возможность внедрить данные технологии;
Политическая и экономическая неопределенность, приведшая к оттоку капитала и заморозке инвестиционных проектов на территории России;
Рост цен на импортную продукцию и всплеск инфляции, по мнению IDC, тормозят развитие всего рынка ИТ.

Прогноз российского рынка

По состоянию на сегодняшний день, российский рынок Больших Данных не настолько популярен как в развитых странах. Большинство российских компаний проявляют интерес к нему, но воспользоваться их возможностями не решаются.
Примеры крупных компаний, которые уже извлекли выгоду от использования технологий Больших Данных, расширяют осознание возможностей данных технологий.
У аналитиков также достаточно оптимистичные прогнозы относительно российского рынка. IDC считает, что доля российского рынка за следующие 5 лет увеличится, в отличии от рынка Германии и Японии.
К 2020 году объем Big Data России вырастет с нынешних 1,8% до 2,2% от общемирового объема данных. Количество информации вырастет, по данным EMC, с нынешних 155 эксабайт до 980 эксабайт в 2020 году.
В настоящий момент в России продолжается накопление объема информации до уровня Больших Данных.
Согласно опросу CNews Analytics, 44% опрошенных компаний работают с данными не более 100 терабайт* и лишь 13% работают с объемами выше 500 терабайт.

Тем не менее российский рынок, следуя мировым тенденциям, будет увеличиваться. По состоянию на 2014 год объем рынка компания IDC оценивает в 340 млн долл. США.
Темп роста рынка за предыдущие годы составлял 50% в год, если он останется на прежнем уровне, то уже в 2018 году объем рынка достигнет 1,7 млрд долл. США. Доля российского рынка в мировом составит около 3%, увеличившись с нынешних 1,2%.

К наиболее восприимчивым отраслям к использованию Big Data в России относятся:

Ритейл и банки, для них прежде всего важен анализ клиентской базы, оценка эффекта маркетинговых кампаний;
Телеком – сегментация клиентской базы и монетизация трафика;
Госсектор – ведение отчетности, анализ заявок от населения и др.;
Нефтяные компании – мониторинг работ и планирование добычи и сбыта;
Энергетические компании – создание интеллектуальных электроэнергетических систем, оперативный мониторинг и прогнозирование.

В развитых странах Big Data получила широкое распространение в сферах здравоохранения, страховании, металлургии, интернет-компаниях и на производственных предприятиях, скорее всего в ближайшем будущем российские компании из данных сфер также оценят эффект внедрения Big Data и будут приспосабливать данные технологии в своих отраслях.
В России также, как и в мире, в ближайшем будущем будет наблюдаться тренд на визуализацию данных, анализ медиа файлов и развитию интернета вещей.
Несмотря на общую стагнацию экономики, в ближайшие годы аналитики прогнозируют дальнейший рост рынка Больших Данных, в первую очередь это связано с тем, что использование технологий Больших Данных дает конкурентное преимущество ее пользователям в части повышения операционной эффективности бизнеса, привлечения дополнительного потока клиентов, минимизации рисков и внедрения технологий прогнозирования данных.
Таким образом, можно заключить, что сегмент Big Data в России находится на стадии формирования, но спрос на данные технологии с каждым годом увеличивается.

Основные результаты анализа рынка

Мировой рынок

По итогам 2014 года рынок Больших Данных характеризуется следующими параметрами:

объем рынка составил 28,5 млрд долл. США, увеличившись на 45% по сравнению с предыдущим годом;
большую часть выручки рынка Big Data составили сервисные услуги, их доля была равно 40% в общем объеме выручки;
36% выручки принесли приложения и аналитика Больших Данных, 17% - вычислительное оборудование и 15% - технологии хранения данных;
наибольшей популярностью для решения проблем Больших Данных пользуются in-memory платформы таких компаний, как SAP, HANA и Oracle.
на 125% увеличилось количество компаний с реализованными проектами в сфере управления Большими Данными;

Прогноз рынка на следующие годы выглядит следующим образом:

в 2015 году объем рынка достигнет 38,4 млрд долл. США, в 2020 году – 68,7 млрд долл. США;
средний темп роста будет равен 16% ежегодно;
средние затраты компании на технологии Больших Данных составят 13,8 млн долл. США для крупных компаний и 1,6 млн долл. США для малого и среднего бизнеса;
технологии будут иметь наибольшую распространенность в сферах клиентского сервиса и точечного маркетинга;
в 2017 году изменится общемировая структура рынка в сторону преобладания компаний-пользователей из развивающихся стран.

Российский рынок

Российский рынок Больших Данных находится на стадии формирования, результаты 2014 года выглядят следующим образом:

объем рынка достиг 340 млн долл. США;
средний темп роста рынка в предыдущие годы составил 50% ежегодно;
общий объем накопленной информации составил 155 эксабайт;
10% российских компаний начали использовать технологии Больших Данных;
большей популярностью технологии Больших Данных пользовались в банковской сфере, телекоме, интернет-компаниях и ритейле.

Прогноз российского рынка на ближайшие годы выглядит следующим образом:

объем рынка России в 2015 году достигнет 500 млн долл. США, а в 2018 году – 1,7 млрд долл. США;
доля российского рынка в мировом составит около 3% в 2018 году;
количество накопленных данных в 2020 году составит 980 эксабайт;
объем данных вырастет до 2,2% от общемирового объема данных в 2020 году;
наибольшую популярность приобретут технологии визуализации данных, анализа медиа файлов и интернета вещей.

По результатам анализа можно сделать вывод о том, что рынок Big Data все еще находится на ранних стадиях развития, и в ближайшем будущем мы будем наблюдать его рост и расширение возможностей данных технологий.

Спасибо, что уделили время прочтению этой объемной работы, подписывайтесь на наш блог - обещаем много новых интересных публикаций!

Подобные документы

Принципы технологий "Умный дом". Выбор управляющего элемента для системы. Разработка программного обеспечения сегментов системы управления помещением: измерение влажности и температуры, автономный контроллер и освещение. Вывод информации пользователю.

дипломная работа, добавлен 07.08.2018

Применение технологии блокчейн в финансовой сфере, игровой индустрии, госуправлении. Создание концепции объединения блокчейн и Интернета вещей для работы сети "Умный дом", ее реализация в сочетании с технологией Big Data и искусственным интеллектом.

статья, добавлен 20.11.2018

Понятие, принцип работы и элементы системы "умный дом". Протоколы обмена данными между управляющими, передающими и исполнительными элементами. Пример практической реализации проекта. Описание основных программных элементов прототипа "умного дома".

дипломная работа, добавлен 30.07.2017

Рассмотрение существующих проблем управления городским пассажирским транспортом в России. Методика автоматизации системы диспетчерского контроля. Анализ безотказности работы экспертной системы пассажирского транспорта в программной среде AnyLogic.

статья, добавлен 01.03.2019

Описания конструкции и особенностей роботов для развлечений и охраны. Управление роботом-пылесосом. Движения и внешность андроидов. Изучение общего алгоритма работы системы "Умный Дом". Механизм интеллектуального управления в жилых и офисных помещениях.

реферат, добавлен 10.02.2015

Исследование таких технологических решений для городской среды, как "умная улица", "умная парковка", "умный город". Описание основных принципов работы и функциональных возможностей интернет вещей, обозначение эффекта от их внедрения и главные достоинства.

статья, добавлен 18.08.2018

Рассмотрение схемы устройств "Умного дома" и программного обеспечения. Разработка связи между элементами. Выбор объектов элементов. Подготовка технической документации. Характеристика процесса внедрения и тестирования. Изучение используемых технологий.

дипломная работа, добавлен 20.03.2017

Рассмотрение вопросов, связанных с комплексной разработкой и внедрением технологий типа "Умного города". Знакомство с основными тенденциями в развитии информационной безопасности. Угроза как потенциальная возможность нарушить информационную безопасность.

статья, добавлен 05.06.2018

Рассматривается модель умного города IBM, состоящая из трёх стадий: "инструментальность", "взаимосвязанность", "интеллектуальность". Способы внедрения энергосберегающих технологий и экологически безопасным развитием городских систем, их эффективность.

статья, добавлен 31.10.2017

Понятие информационной системы, ее использование для обработки информации, ее хранения и распространения. Информационные технологии в отрасли водного транспорта. Береговые и бортовые информационные системы. Тренажерные и портовые технологические системы.

Спикер: Филипп Кац

Интервьюер: Алексей Карлинский

Мы много раз верили обещаниям фантастов о невероятном будущем, и каждый раз наши надежды разбивались об унылое настоящее. Мы все еще живем на земле, и наши машины не летают по воздуху. «Нас опять обманули!», - думаем мы, и за всеми этими фантазиями в очередной раз упускаем момент, когда будущее по-настоящему наступает.

На этот раз это произошло с появлением Big Data. Мы можем игнорировать их, но отрицать их влияние на нашу жизнь уже не получится. О том, как Big Data незаметно изменили наши города и то, как мы живем в них, рассказывает архитектор и специалист в области Big Data Филипп Кац.

Мультидисциплинарный специалист, архитектор по образованию, Филипп является специалистом по работе с Big Data. Выпускник Казанского архитектурного университета, Института медиа, архитектуры и дизайна «Стрелка», один из основателей проекта «Точка Ветвления». Преподает в Санкт-Петербургском национальном исследовательском университете информационных технологий, механики и оптики и занимается анализом данных для компании Rambler&Co.

Закрыть

Филипп, расскажи, пожалуйста, как технологии Big Data используются в архитектурном проектировании и городском планировании сегодня?

Начнем с того, что четыре года назад, когда я в «Стрелке» учился, в России, по крайней мере, про Big Data никто не знал. В мире о них только-только заговорили. Через год в России уже все про них знали и ими переболели. Мне кажется, это во многом традиционная динамика — когда новая технология поднимается на пьедестал, восхваляется, а потом довольно быстро в отношении нее появляется скептицизм. Технологию сбивают с пьедестала, и после этого они интегрируются в общество в более спокойном режиме.

Если говорить об архитектурной или градостроительной аналитике, то, мне кажется, сегодня это некий компромисс между современными технологиями и традиционным анализом. Например, год назад я помогал своей подруге участвовать в архитектурном конкурсе для студентов в США. Для них сити-менеджер предоставлял GIS-файлы с довольно хорошим описанием данных: транспортные пути, объем этих путей, где появляются лужицы каждый год, где подтопляет каждые пять лет, где блоки с высоким уровнем налогов, где блоки с высоким процентом чернокожего населения. В Соединенных Штатах детализация статистики высокая и данные довольно хорошо сводятся, поэтому даже на уровне конкурсного проекта мы могли какие-то вещи получать в готовом виде. Их не надо было ни собирать, ни анализировать.

Большинство самой полезной аналитики, на мой взгляд, к тому и сводится, что ты какие-то данные берешь как факты и на основе этого проектируешь. И хотя данные могут быть у всех одни и те же, читают и понимают их всё равно абсолютно по-разному.

Google утверждает, что их самоуправляемые автомобили могут уменьшить количество автокатастроф и помогут более эффективно использовать топливо и пространство на дорогах / фото: Google.com

Как ты использовал технологии Big Data в своей практике?

Мы долгое время делали проект« Точка Ветвления» с моими коллегами Эдиком Хайманом и Сашей Болдыревой — пытались как-то обсуждать и развивать цифровое проектирование и, естественно, тогда нашей общей постулируемой мечтой и конечной целью являлось проектирование на основе параметров. При этом наш предел мечтаний был именно в том, чтобы на основе какого-то хитрого кода найти новые формальные решения, которые отвечали бы нашим требованиям, но форма результата при этом оказалась бы не та, которую мы закладывали, а какая-то неожиданная — красивая.

Аналитика — это вид искусства, где в каждом конкретном случае алгоритм работы с данными — это картина

В зрелом возрасте проекта мы все понимали, что эта мечта не то чтобы была недостижима, а скорее была спорна мысль о том, что здание стоит полностью проектировать только лишь на основе данных. Это скорее то, к чему нужно стремиться, но понимать, что ты туда никогда не дойдешь.

Тут возникает важный для меня диалектический момент. Допустим, мы делаем алгоритм и понимаем, что, в первую очередь, из-за генетических требований он требует довольно простых, но все-таки формальных параметров. И в сложной системе, а здание или район — это сложная система, сразу появляется множество таких параметров, которые нужно привести к единому знаменателю. Тебе всегда нужен первичный формальный жест, какая-то форма: цилиндр или параллелепипед, пирамидки и так далее.

Если мы посмотрим на работы Захи Хадид, то в основе проекта всегда лежит какой-то изящный формальный жест. Он может потом видоизменяться цифровым образом, но всегда остается в основе всего и принадлежит перу автора. Генетический алгоритм может потом выбрать лучший из получившихся вариантов, но изобрести их никогда не сможет.

То есть, в основе проектирования всегда будет человеческая воля. Как в таком случае будет меняться степень вовлеченности человека в проектирование с развитием Big Data?

В будущем я вижу некую аналитическую машину — большой и сложный квантовый компьютер, например, или телепатов и парапсихологов, погруженных в депривационные камеры, которые что-то предсказывают или подсказывают, на что стоит обратить внимание.

Я думаю, человек никогда не будет выдавлен из процесса. Все эти вещи(методы анализа Big Data) называются алгоритмами помощи в принятии решений, и их суть сводится к тому, чтобы максимально эффективно вытаскивать аномалии в динамиках процессов и максимально уменьшить процент технического труда на одного человека. Аналитик должен быть экспертом в области работы с ними, и алгоритмы могут ему на блюдечке принести все, кроме, собственно, решения. Конечно, существует технический порог вхождения в эту дисциплину, но сама аналитика — это вид искусства, где алгоритм работы с данными — это картина. Шедевр.

Дроны, оборудованные камерой, могут самостоятельно патрулировать заданную территорию и переносить изображения в информационный центр в реальном времени / фото: Kevin Baird / Flickr.com

Big Data не могут охватить всей информации. Как работать с тем, что не учитывается при анализе Big Data?

Действительно, аналитиков часто критикуют за то, что мы описываем только тех, кто подключен к интернету, а те, кто не подключен к интернету, выбиваются из анализа. Это абсолютная правда, но тут есть своя логика защиты. Говоря цинично, если мы не знаем проблемы бабушки, которая стесняется написать в интернет, потому что она там не привыкла, то мы можем ее проблемы игнорировать, просто потому что если мы будем использовать такой подход, то либо бабушка, либо ее внук за нее, в конце концов, напишут.

Другая проблема кроется в том, что любая технология сбора или хранения данных — это всегда первый фактор ошибки. При этом отследить всю мультифакторность — почему люди сыграли так, а не иначе — невозможно в принципе. На первых порах Big Data не дают ответа. Они позволяют задать серьезные вопросы.

Как возможность задавать вопросы по-новому меняет наше представление о городе?

Эдуард Хайман когда-то придумал термин« плагополис». Идея заключается в том, что современный город становится все более проактивным и динамичным. Сегодня это некая среда со своими потоками, движениями, где жидкость, которая переливается в сосудах, все время саморегулируется. При этом схватить точку и зафиксировать ее ты можешь только очень условно. Она мгновенно изменится сама и поменяет другие точки вокруг себя. Для меня эта идея — довольно прикладная вещь, с которой можно работать. Сейчас становится ясно, что мы больше не можем воспринимать город как что-то механистичное.

Эту идею принимают в российском градостроительстве?

На уровне градостроительства в таком русском понимании это неочевидно. Мы, так или иначе, начинаем с рисования дорожек, улиц, и мы верим, что так оно в итоге и будет. В лучшем случае мы начинаем думать, что надо бы проверить, как это сделать правильно, и тогда это либо будет так, как мы нарисуем, либо люди сами все потом переделают.

Big Data не дают ответа. Они позволяют задать серьезные вопросы

Вообще, голословные утверждения на основе стереотипов и абстрактных идей сегодня сильно раздражают. Причем архитекторы и градостроители в первую очередь с ума сводят. Они просто говорят что« пешеходы лучше, чем автомобилисты» или что« креативный бизнес превратит индустриальный парк в рай земной». Хотелось бы, чтобы за любыми такими вещами проходил базовый расчет, потому что может быть так, а может быть и не так, и в большинстве случаев бывает как-то не так.

Как тогда Big Data могут помочь нам лучше понять город?

Город — это всегда слон из сказки про слепых, которые пытаются описать его на ощупь. Мы всегда работаем так же — кто-то за попу хватает, кто-то за ухо, кто-то за хобот. И каждый при этом рассказывает, что видит слона. В нашем случае все мы еще и считаем, что мы зрячие и знаем, что такое город.

Big Data защищают нас от того, чтобы пощупать только в одном месте, дают нам возможность примерно представлять общую форму слона и понимать, что мы трогаем за примерно вот это место, но есть и другие. Я получаю огромные отчеты по городу и всегда могу в какие-то конкретные десять строк данных залезть, посмотреть и спросить: почему так? Обычно это становится началом для какого-то расследования, исследования, истории.

GIS data в сочетании с альгоритмами моделирования в пространстве помогают предсказывать уровень изоляции на выбранной территории / фото: Trevor Patt / Flickr.com

Эти размышления, вдохновленные Big Data, как-то впоследствии выражаются в реальных проектах?

Существует так называемый метод« городской акупунктуры». Суть его заключается в том, что в городе ищутся как бы болевые узлы, и в этих маленьких узелках — в пространствах максимум в квартал, а лучше в одно здание, или даже на какой-то маленькой площадочке между зданиями — делается какое-то изменение. Из-за размеров бюджета оно совершенно микроскопическое, а изменения для города в целом, если правильно рассчитать эти узлы, — происходят огромные.

Хотя« городская акупунктура» сегодня — это скорее умозрительный проект, уже сейчас существуют умные пространственные решения, со светофорами в единой системе, например. Они, вкупе с умными дорогами, позволяют менять пространство, и это может дать неожиданные выхлопы. Ещё сегодня происходит роботизация индустрий, и это тоже добавляет ценности. Если сейчас дроны начнут перевозить грузы, то городская логистика смерджится(от англ. to merge — «сливаться» — А.К.) — и там цифры, и тут цифры. С этим будет работать, определенно, гораздо легче, чем с живыми дальнобойщиками.

Технология, которой я сейчас вдохновляюсь, и я надеюсь, из этого произойдет что-то архитектурное, — это новый проект Amazon, когда стоит умная колонка в центре дома, которая слушает все твои вопросы и на них отвечает. Примерно как Siri, только в доме. Эта технология, возможно, поменяет ощущение пространства города сильнее, чем любой алгоритм.

То есть город будет все больше полагаться на программное обеспечение?

Именно. Сейчас I/O и различные интерфейсы получения информации человеком многое меняют институционально. С моей точки зрения, сервис по вызову дешевого такси меняет в моей жизни гораздо больше, чем 90 процентов градостроительных решений. Такси многое меняют в моем восприятии города. Несмотря на весь предыдущий опыт, с появлением Яндекс. Такси и конкуренцией такси-сервисов получилось, что и таксисты у нас вежливые, и деньги конкретные, и реагируют они быстро — совершенно не так, как в каком-нибудь Нью-Йорке.

Сервис по вызову дешевого такси меняет в моей жизни гораздо больше, чем 90 процентов градостроительных решений

Мне кажется, самый важный сервис, который мог бы словить огромную прибыль от уберификации, — это проституция. Гипотетический пользователь стесняется, и, может быть, множество людей поэтому и не пользуются услугами проституток, — это им кажется чем-то опасным, страшным и непонятным. Сидя у себя в телефоне — им, безусловно, было бы гораздо проще. Конечно, это сразу бы отобрало хлеб у сутенеров и совершенно изменило бы бизнес. Просто колоссально! Я думаю, в какой-нибудь либеральной стране в скором времени так и произойдет.

Как ты думаешь, люди в будущем смогут работать с технологиями Big Data персонально?

Я думаю, все к этому идет. Технологическая сложность будет возрастать, и это понятно, а практически — мы будем учиться это как-то правильно упаковывать. Слик-интерфейсы (от англ. sleek — тонкий, изящный — А.К.) сегодня в какой-то степени упрощают наше восприятие того, как все происходит. Вот кнопочка, вот пипочка — и всё. Сегодня чем больше ты можешь спрятать от обычного человека, не потеряв при этом функцию, тем лучше, потому что люди немного напуганы всей этой сложностью. Хотя известной технологии, как в «Особом мнении», не появилось, но ощущенчески фильм очень правильно описывает то, что сейчас будет происходить.

Что это будет? Как ты думаешь, с чем предстоит столкнуться большим данным в ближайшем будущем?

Они появились как некая модная тема и сейчас потихоньку притухают, потому что самые очевидные вещи уже сделаны. Дальше надо будет технические механизмы в методике прорабатывать — не в романтическом, а утилитарном виде. Через пять лет, я уверен, появится довольно хорошо оплачиваемая и, возможно, довольно скучная должность какого-нибудь цифрового аналитика в мэрии, при министерствах и бизнесах.

При этом у Big Data есть некая болезнь. Есть люди, которые понимают, что они делают, и есть люди, кормящиеся с этого, которые не очень понимают, как работают Big Data. Дырка между профессиональными технологами и людьми, понимающими, зачем это все может быть, всегда существует в любом бизнесе, в любой науке, и это, безусловно, некая проблема. Люди, которые знают технологическую часть и экспериментируют с новыми решениями, редко делают реально полезные вещи, а люди, которые знают, как можно применить эти разработки, также не могут создать качественного продукта в одиночку. Поэтому единственный путь к развитию при работе с Big Data — это найти новые способы взаимодействия между специалистами.

Читайте также