"Въздушна математика". Големите данни в света на гражданската авиация. Големи данни и технологии за автомобилна навигация на близкото бъдеще Как използвахте технологиите за големи данни във вашата практика

"Въздушна математика". Големите данни в света на гражданската авиация. Големи данни и технологии за автомобилна навигация на близкото бъдеще Как използвахте технологиите за големи данни във вашата практика
20.04.2021

В Башкирия за първи път бяха използвани „големи данни“ при анализа на туристическия поток. Държавният комитет по туризъм на Република Беларус поръча проучване на Уралския център за мониторинг и анализ, което беше извършено въз основа на динамиката на движението на абонатите мобилни телефони.

Според проучвания от януари до ноември 2018 г. 1,656 милиона туристи са посетили републиката, 60% от които са мъже на възраст от 30 до 45 години, обикновено служители на търговски организации, с висше образование, с доход от 40 хиляди рубли на месец. Средната продължителност на престоя е 3,8 дни.

Пикът на туристическия поток пада през лятото. През юни 2018 г. влезлите са 179 хил. души, през юли - 215 хил. души. Минималната цифра е наблюдавана през февруари - 118 хиляди души.

Гости бяха от различни региони на Русия. Най-голям дял посетители - Москва, Московска област, Татарстан - по 11%. Жителите на Оренбургска област, Челябинска и Самарска области представляват делът на туристическия поток от 9%, 7%, 6%. Освен това Свердловска област и ХМАО - по 3,8%, Тюменска област - 3%, Пермска територия и Удмуртия - всяка малко повече от 2%.

Чуждестранни туристи са от съседни страни, както и от Индия, Испания, Италия, Йемен, Германия, Турция, Египет, Нигерия, Израел, САЩ, Чехия, Саудитска Арабия, България, Иран, Китай и Финландия.

Проведено е и социологическо проучване под формата на анкети сред туристи. 37% от анкетираните са избрали хотел или хотел за престой. 17% са отседнали при приятели или роднини, 11% са предпочели хостели. Според целите на пътуването туристическият поток се разпределя както следва: пътувания до роднини (30%), бизнес туризъм (28%), здравен туризъм (18%), разглеждане на забележителности (12%), активен (8%), поклоннически туризъм (0,2%) .

40% от туристите идват в Башкирия не за първи път. 20% дойдоха по препоръка на приятели (колеги, роднини). 24% печалба при командировка. Най-малко използваните източници на информация при избора на посоката на пътуване за анкетираните са интернет порталите (3,4%), социалните мрежи (1,2%), медийната реклама (0,5%).

През настоящата 2019 г. ще бъде анализирана и туристическата привлекателност на определени региони на републиката, съобщиха от държавната комисия.

„Геоаналитика, използваща възможностите мобилни операторие усъвършенстван метод за отчитане на туристическия поток. В момента само Москва има такъв опит и нека ви напомня, че последната заема първо място в националния туристически рейтинг в Приволжския федерален окръг, Башкортостан - второто ”, каза Азамат Галин, заместник-ръководител на Държавния комитет по туризъм и Предприемачеството на Република Беларус.

Според портала Turstat в края на 2018 г. Башкирия влезе в Топ 15 на рейтинга на вътрешния и входящия туризъм, заемайки 13-то място с брой туристи над 2,5 милиона души (+13% спрямо 2017 г.).

Тези инициативи на правителството на Башкирия са много интересни и полезни за изучаване на туристическия поток и планиране на техните дейности с цел популяризиране на туристическите продукти на региона чрез цялостно предоставяне на услуги на туристите, включително с помощта на ИТ технологии.

Между другото, в новините се споменава Нижни Ногород. По-рано съобщихме, че този град е реализирал проекта „Карта за гости“, според който ще бъде възможно да се проследява движението на туристите, посещаващи забележителностите на града, техните интереси, туристите ще могат да получават различни отстъпки, както и използвайте обществения транспорт безплатно.

Всички тези инициативи се реализират в регионите изолирани и изолирани, без федерално участие.

ЗА КАКВО ГОВОРИШ?

Основното е, че в момента се решава въпросът за прилагането на електронни визи за чуждестранни граждани, пристигащи в Руската федерация. Според Асоциация „Безопасност на туризма“ използването на такива визи с помощта на специални цифрови технологии без интегриране на системата за миграция и регистрация на туристи в хотелите и посочените по-горе услуги с помощта на „карта за гости“ няма смисъл. Това не е държавен подход.

Според нас системният, държавническият подход трябва да включва отчитането на всички тези елементи. Туристът трябва да се регистрира на границата веднъж, след като получи електронен етикет, след което да се движи из страната, да се регистрира в хотели (вече без миграционна регистрация), да посещава музеи без проблеми, да получава различни отстъпки, да използва обществения транспорт безплатно или с отстъпки. И в същото време този подход ще позволи - как да се осигури национална сигурност, фиксиране на движението на чужденци и освобождаване на хотелиерите от главоболието на регистрацията и миграционното отчитане, а органите за управление на туризма в съставните образувания на Руската федерация получават информация за най-популярните обекти в региона (града) и въз основа на това формират туристически оферти, като по този начин извличат максимална полза.

И ВСИЧКО Е ЗА ТОВА!

А именно постановлението на правителството на Руската федерация от 6 август 2015 г. № 813, което одобри Правилника за държавната система за миграционни и регистрационни записи, чието прилагане може значително да повлияе на гостоприемството и да увеличи входящия туристически поток като цяло . Именно за това говори председателят на УС на Асоциация „Безопасност на туризма“ на 06 декември 2018 г. в Съвета на федерацията Сергей Груздучастници в кръглата маса на тема „Актуални въпроси за използването на електронни визи за чуждестранни граждани, пристигащи в Руската федерация и подобряване на законодателството на Руската федерация в тази област“

Припомняме, че въпросите за подобряване на регистрите за миграция и регистрация, опростяване на визовия режим, разработване и прилагане на единен биометричен идентификатор за пътуване ще бъдат предмет на обсъждане в рамките на Международен форум „Безопасност в туризма“ – TSIF – 2019г.Форумът е ключово професионално събитие, на което на една платформа представители на властта, професионалната общност и бизнеса обсъждат актуални въпроси за осигуряване на безопасността в туризма.Форматът на форума предвижда 4 сесии.

Москва е огромен метрополис с 11 979 529 жители според преброяването от 2013 г. Всеки от тях отива на работа, използва мобилен телефон (или дори повече от един), слиза в метрото, стои в задръствания. Всичко това се наблюдава от градски служби, държавни агенции, частни компании, които предоставят различни услуги. Хиляди видеокамери, стотици хиляди сензори, монитори, които контролират живота на града, милиони мобилни телефони, 3G/4G модеми. И всички заедно това са милиарди източници на данни, обработвайки които можете да получите информация за по-нататъшно планиране на развитието на града, управление на неговите транспортни потоци и осигуряване на безопасността на мегаполиса. Един от малкото инструменти, които могат да се справят с обработката на такова количество информация, са решенията от клас Big Data. Първо, нека да разгледаме къде могат да се използват.

Данни за гъстотата на населението и движението на населението

Основният инструмент за определяне на числеността и структурата на населението, разпределението му по територия в момента е преброяването. Основният недостатък на преброяването е цената на провеждането му и липсата на данни за движението на жителите. Източник на информация за преброяването са самите жители, които се анкетират по местоживеене.

Какви са ползите от използването на Big Data решения? За да отговорим на този въпрос, първо определяме от какви данни се нуждаем:

  • където жителите спят и работят;
  • къде и къде ходят през делничните и почивните дни;
  • какъв транспорт използват московчани и гости на столицата;
  • откъде идват в града и защо.

За да съберем тази информация, първо трябва да вземем решение за източника на данните и метода на анализ. За да се определи местоположението на жител, най-оптимално е да се използват данни за неговото местоположение мобилен телефон(той винаги е с него). Как да го направим?

На разположение:

  • данни от мобилни операториза местоположението на телефона;
  • данни от специализирани услуги (като Yandex.Traffic);
  • данни от мобилни приложенияс вградена функционалност за местоположение, предоставена от града за удобство на жителите.

За анализ на получената информация могат да се използват различни алгоритми в зависимост от източника, формата и метода на предоставянето им. Но тук са основните точки.

Дефинирането на мястото, където жителите спят и където работят, може да се получи чрез анализиране на данни за движението и предприетите действия. Например, периодичната липса на обаждания от 22:00 до 7:00 и липсата на движение ще покаже къде живее лицето, а липсата на движение в работно време ще покаже къде работи същото лице и един от критериите, че подобрява точността ще бъде наличието на абонатна телефонна активност в дадено местоположение. Тук също ще бъде възможно да се определи колко често човек се движи по време на работното време, колко хора в града заемат позиции, свързани с постоянно движение (куриери, шофьори и други професии).

Определянето на посоката на движение на жителите се извършва по същия начин, според същите данни за движението на абонатите клетъчна комуникацияи ви позволява да идентифицирате основните потоци от движения на местни жители, посетители, трудови мигранти, да събирате статистически данни за движенията по области и посоки, да разберете колко често жителите и гостите посещават магазини, културни събития, градски атракции, както и колко популярни някои места в града са.

Проследявайки скоростта на движение и посещаваните места, може да се различи какъв вид транспорт използва човек: кола, метро, ​​наземен обществен транспорт, междуградски транспорт.

Анализ на работата на градската инфраструктура и осигуряване безопасността на населението

Голям брой светофари, системи за управление на градския трафик, системи за видеозапис на събития (камери за наблюдение), контрол обществен транспортв рамките на град с население над един милион души изисква координиран подход при управлението и централизиране на данни. Един от проблемите, идентифицирани своевременно при внедряването на системи за видеонаблюдение в целия град, беше невъзможността за наблюдение на протичащи събития (например за установяване на незаконни действия) от оперативни дежурни служители. Като се вземат предвид настоящите възможности на съвременните технологии, става възможно създаването на унифицирани разпределени системи, които осигуряват както разпознаване на събития от различни източници (системи за контрол на трафика, камери за наблюдение и др.), така и градове. Друго приложение на Big Data решенията е разпределеното и дългосрочно съхранение на събраната информация, търсенето на необходимите данни и свързаните с тях събития. Какво е причинило тази или онази промяна в ситуацията в града, какви събития са я предшествали, кого са засегнали - това са малка част от въпросите, на които големите данни могат да отговорят.

Картографиране на данни

Един от ключовите моменти на протичащите събития е определянето на характеристиките на обектите, участващи в тях. За събиране на данни могат да се използват напълно различни източници: например за данни, получени от мобилен оператор, характеристиките на лицето, на което е регистрирана SIM картата; за системи за наблюдение, информация от системи за разпознаване на лица, ведомствени бази данни. Един от ключовите моменти е възможността за анонимизиране на информацията, изключвайки лични компоненти при прехвърляне на данни от различни собственици и източници.

Основни проблеми

И все пак има муха в мехлема във всичко това. Основният проблем на всички интеграционни решения, особено ако се обменят данни между различни отдели, организации, са законодателните ограничения, които не позволяват предоставянето на данни във формата, в която съществуват. В резултат на това е необходима тяхната предварителна обработка от страна на собственика.

Обща сума

Обобщавайки, бих искал да отбележа, че съвременните технологии за обработка на „големи данни“ ни позволяват да предоставим на града много повече от съществуващите ИТ услуги. Това не изисква актуализиране на съществуващата инфраструктура, тъй като могат да се използват наличните в момента източници на данни.

С помощта на решения от клас Big Data е възможно да се повиши удобството на жителите на града и неговите гости, да се намали броят на задръстванията не поради ограниченията за влизане в града, а чрез управление на потоците от трафик, намаляване на броя на престъпленията поради за бърза реакция, подобряване на качеството на градските услуги поради техния бърз и автоматичен контрол.

"Голяма информация"- тема, която се обсъжда активно от технологичните компании. Някои от тях са се разочаровали от големите данни, докато други, напротив, ги използват за бизнес, доколкото е възможно... . Надяваме се информацията да бъде интересна и полезна.

КАКВО Е BIG DATA?

Основни функции
Big Data в момента е един от ключовите двигатели на развитието информационни технологии. Това направление, сравнително ново за руския бизнес, стана широко разпространено в западните страни. Това се дължи на факта, че в ерата на информационните технологии, особено след бум социални мрежи, започна да се натрупва значително количество информация за всеки интернет потребител, което в крайна сметка доведе до посоката на Big Data.

Терминът "Големи данни" предизвиква много спорове, мнозина смятат, че това означава само количеството натрупана информация, но не забравяйте за техническата страна, тази област включва технологии за съхранение, изчисления и услуги.

Трябва да се отбележи, че тази област включва обработката на голямо количество информация, която е трудна за обработка с традиционните методи*.

По-долу е сравнителна таблица на традиционна и голяма база данни.

Сферата на Big Data се характеризира със следните характеристики:
Сила на звука - обемът, натрупаната база данни е голямо количество информация, която е трудоемка за обработка и съхранение по традиционни начини, те изискват нов подход и подобрени инструменти.
Скорост - скорост, тази характеристика показва както нарастващата скорост на натрупване на данни (90% от информацията е събрана през последните 2 години), така и скоростта на обработка на данни; напоследък технологиите за обработка на данни в реално време стават все по-търсени.
Разнообразие – разнообразие, т.е. възможността за едновременна обработка на структурирана и неструктурирана информация от различни формати. Основната разлика между структурираната информация е, че тя може да бъде класифицирана. Пример за такава информация е информация за клиентски транзакции.
Неструктурираната информация включва видео, аудио файлове, свободен текст, информация, идваща от социални мрежи. Към днешна дата 80% от информацията е включена в групата на неструктурираните. Тази информациясе нуждае от сложен анализ, за ​​да стане полезен за по-нататъшна обработка.
достоверност – Надеждност на данните, потребителите започнаха да придават значение на надеждността на наличните данни. И така, интернет компаниите имат проблем с разделянето на действията, извършвани от робот и човек на уебсайта на компанията, което в крайна сметка води до трудността на анализа на данните.
стойност - стойността на натрупаната информация. Големите данни трябва да са полезни за компанията и да й носят някаква стойност. Например помощ при подобряване на бизнес процесите, отчитане или оптимизиране на разходите.

Ако горните 5 условия са изпълнени, натрупаните обеми от данни могат да бъдат класифицирани като големи.

Приложения на големи данни

Обхватът на технологиите за големи данни е обширен. Така че с помощта на Big Data можете да научите за предпочитанията на клиентите, ефективността на маркетинговите кампании или да извършите анализ на риска. По-долу са резултатите от проучване на IBM Institute относно посоките за използване на Big Data в компаниите.

Както се вижда от диаграмата, повечето компании използват Big Data в областта на обслужването на клиенти, втората най-популярна посока е оперативната ефективност, в областта на управлението на риска Big Data в момента е по-рядко срещана.

Трябва също да се отбележи, че Big Data е една от най-бързо развиващите се области на информационните технологии, според статистиката общото количество получени и съхранени данни се удвоява на всеки 1,2 години.
Между 2012 г. и 2014 г. количеството данни, предавани месечно мобилни мрежи, нараства с 81%. Cisco изчислява, че през 2014 г. обемът мобилен трафиквъзлиза на 2,5 екзабайта (мерна единица за количество информация, равна на 10 ^ 18 стандартни байта) на месец, а още през 2019 г. ще бъде равна на 24,3 екзабайта.
По този начин Big Data вече е утвърдена област на технологиите, въпреки сравнително младата си възраст, която е широко разпространена в много области на бизнеса и играе важна роля в развитието на компаниите.

Технологии за големи данни
Технологиите, използвани за събиране и обработка на големи данни, могат да бъдат разделени на 3 групи:
  • софтуер;
  • Оборудване;
  • Обслужване.

Най-често срещаните подходи за обработка на данни (PD) включват:
SQL - език структурирани заявки, което ви позволява да работите с бази данни. СЪС използвайки SQLможете да създавате и променяте данни, а масивът от данни се управлява от подходящата система за управление на база данни.
NoSQL - терминът означава Not Only SQL (не само SQL). Той включва редица подходи, насочени към внедряване на базата данни, които се различават от моделите, използвани в традиционните, релационни СУБД. Те са удобни за използване с постоянно променяща се структура на данните. Например за събиране и съхраняване на информация в социалните мрежи.
MapReduce – модел на разпределение на изчислението. Използва се за паралелно изчисление на много големи набори от данни (петабайти* или повече). В интерфейса за програмиране данните не се прехвърлят към програмата за обработка, а програмата се прехвърля към данните. Така искането е отделна програма. Принципът на работа е последователна обработка на данни с два метода Map и Reduce. Map избира предварителни данни, Reduce ги агрегира.
Hadoop - използва се за реализиране на механизми за търсене и контекстуални механизми за силно натоварени сайтове - Facebook, eBay, Amazon и др. Отличителна черта е, че системата е защитена от отказ на който и да е от възлите на клъстера, тъй като всеки блок има поне едно копие на данните на другия възел.
SAP HANA е високопроизводителна NewSQL платформа за съхранение и обработка на данни. Осигурява висока скоростобработка на заявка. Друга отличителна черта е, че SAP HANA опростява системния пейзаж чрез намаляване на разходите за поддръжка на аналитични системи.

Технологичното оборудване включва:

  • сървъри;
  • инфраструктурно оборудване.
Сървърите включват хранилища за данни.
Инфраструктурното оборудване включва инструменти за ускоряване на платформата, източници непрекъсваемо захранване, комплекти сървърни конзоли и др.

Обслужване.
Услугите включват архитектура на системата за бази данни, развитие и оптимизиране на инфраструктурата и сигурност на съхранението на данни.

Софтуерът, хардуерът и услугите се комбинират, за да формират платформи от край до край за съхранение и анализ на данни. Компании като Microsoft, HP, EMC предлагат услуги за разработка, внедряване и управление на решения за големи данни.

Приложение в индустриите
Големите данни са широко разпространени в много бизнес сектори. Използват се в здравеопазването, телекомуникациите, търговията, логистиката, финансовите компании, както и в публичната администрация.
По-долу са дадени някои примери за приложения с големи данни в някои от индустриите.

На дребно
Базите данни на магазините за търговия на дребно могат да натрупат много информация за клиенти, система за управление на инвентара, доставка на продаваеми продукти. Тази информация може да бъде полезна във всички области на дейността на магазина.

Така че с помощта на натрупаната информация можете да управлявате доставката на стоки, тяхното съхранение и продажба. Въз основа на натрупаната информация е възможно да се предвиди търсенето и предлагането на стоки. Също така системата за обработка и анализ на данни може да реши други проблеми на търговеца, например да оптимизира разходите или да изготвя отчети.

Финансови услуги
Големите данни правят възможно анализирането на кредитоспособността на кредитополучателя и също така са полезни за кредитен рейтинг* и застраховане**. Въвеждането на Big Data технологиите ще намали времето за разглеждане на молби за кредит. С помощта на Big Data е възможно да се анализира дейността на конкретен клиент и да се предложат подходящи за него банкови услуги.

Телеком
В телекомуникационната индустрия Big Data се използва широко от мобилните оператори.
Мобилните оператори, наред с финансовите институции, разполагат с една от най-големите бази данни, което им позволява да извършват най-задълбочен анализ на натрупаната информация.
Основната цел на анализа на данни е да задържи съществуващите клиенти и да привлече нови. За целта компаниите сегментират клиентите, анализират техния трафик и определят социалната принадлежност на абоната.

В допълнение към използването на Big Data за маркетингови цели, технологията се използва за предотвратяване на измамни финансови транзакции.

Минна и нефтена индустрия
Big Data се използват както при добива на полезни изкопаеми, така и при тяхната обработка и маркетинг. Въз основа на получената информация предприятията могат да направят изводи за ефективността на разработването на находищата, да проследят графика за основен ремонт и състоянието на оборудването и да прогнозират търсенето и цените на продуктите.

Според проучване на Tech Pro Research Big Data е най-разпространено в телекомуникационната индустрия, както и в инженерни, ИТ, финансови и държавни предприятия. Според резултатите от това проучване Големите данни са по-малко популярни в образованието и здравеопазването. Резултатите от проучването са представени по-долу:

Примери за използване на големи данни в компании
Днес Big Data се внедрява активно в чуждестранни компании. Компании като Nasdaq, Facebook, Google, IBM, VISA, Master Card, Bank of America, HSBC, AT&T, Coca Cola, Starbucks и Netflix вече използват ресурси за големи данни.

Областите на приложение на обработваната информация са разнообразни и варират в зависимост от индустрията и задачите, които трябва да се изпълняват.
След това ще бъдат представени примери за практическото приложение на технологиите за големи данни.

HSBC използва Big Data технологии за противодействие на измамни транзакции с пластмасови карти. С помощта на Big Data компанията увеличи ефективността на услугата за сигурност 3 пъти, а разпознаването на измамни инциденти - 10 пъти. Икономическият ефект от въвеждането на тези технологии надхвърли 10 милиона щатски долара.

Антифрайд* ВИЗА допуска в автоматичен режимизчисляване на транзакции с измамен характер, системата на този моментпомага за предотвратяване на измамни плащания на стойност 2 милиарда долара годишно.

Суперкомпютърна компания Watson IBM анализира в реално време потока от данни за парични транзакции. Според IBM Watson е увеличил броя на разкритите измамни транзакции с 15%, намалил е системните фалшиви положителни резултати с 50% и е увеличил сумата с 60%. Паризащитени от транзакции от този вид.

Проктър и Гембъл с помощта на Big Data те проектират нови продукти и създават глобални маркетингови кампании. P&G създаде специални офиси на Business Spheres, където можете да преглеждате информация в реално време.
Така ръководството на компанията има възможност незабавно да тества хипотези и да провежда експерименти. P&G вярват, че големите данни помагат при прогнозирането на представянето на компанията.

Търговец на дребно с офис консумативи officemax с помощта на Big Data технологии те анализират поведението на клиентите. Анализът на големи данни позволи да се увеличат B2B приходите с 13%, да се намалят разходите с $400 000 на година.

Според Caterpillar , нейните дистрибутори пропускат 9 до 18 милиарда долара приходи годишно само защото не внедряват технологията Big Data. Големите данни биха позволили на клиентите да управляват своя флот по-ефективно чрез анализиране на информация от сензори, инсталирани на машини.

Към днешна дата вече е възможно да се анализира състоянието на ключовите компоненти, тяхната степен на износване, да се управляват разходите за гориво и поддръжка.

група Luxottica е производител на спортни очила с марки като Ray-Ban, Persol и Oakley. Компанията използва Big Data технологии за анализ на поведението на потенциални клиенти и „умен“ SMS маркетинг. В резултат групата Big Data Luxottica идентифицира повече от 100 милиона от най-ценните клиенти и повиши ефективността на маркетинговата кампания с 10%.

С помощта на Yandex Data Factory, разработчиците на игри Свят на танкове анализирайте поведението на играчите. Технологиите Big Data позволиха да се анализира поведението на 100 хиляди играчи на World of Tanks, като се използват повече от 100 параметъра (информация за покупки, игри, опит и др.). В резултат на анализа беше получена прогноза за отлив на потребители. Тази информация ви позволява да намалите грижите на потребителите и да работите с участниците в играта по целенасочен начин. Разработеният модел се оказа с 20-30% по-ефективен стандартни инструментианализ на игралната индустрия.

Министерство на труда на Германия използва Big Data, за да анализира входящи молби за безработица. Така след анализ на информацията стана ясно, че 20% от обезщетенията са изплатени незаслужено. С помощта на Big Data Министерството на труда намали разходите с 10 млрд. евро.

Детска болница в Торонто реализира проекта Artemis. Това е информационна система, която събира и анализира данни за бебетата в реално време. Системата следи 1260 показателя за състоянието на всяко дете всяка секунда. Проектът Artemis ви позволява да предвидите нестабилното състояние на детето и да започнете профилактиката на заболяванията при децата.

ПРЕГЛЕД НА ГЛОБАЛНИЯ ПАЗАР НА ГОЛЕМИ ДАННИ

Текущото състояние на световния пазар
През 2014 г. Big Data, според Data Collective, се превърна в една от приоритетните области за инвестиране в рисковата индустрия. Според информационния портал Computerra това се дължи на факта, че разработките в тази област са започнали да носят значителни резултати за своите потребители. През изминалата година броят на фирмите с завършени проектив областта на управлението на големи данни се е увеличил със 125%, пазарният обем е нараснал с 45% спрямо 2013 г.

По-голямата част от приходите на пазара на големи данни, според Wikibon, през 2014 г. се състоят от услуги, техният дял е равен на 40% от общите приходи (вижте диаграмата по-долу):

Ако разгледаме Big Data за 2014 г. по подвидове, тогава пазарът ще изглежда така:

Според Wikibon, приложенията и анализите представляват 36% от приходите от Big Data през 2014 г., приложенията и анализите на Big Data представляват 17% изчислителна техникаи 15% за технологии за съхранение. Най-малко приходи са генерирани от NoSQL технологии, инфраструктурно оборудване и осигуряване на мрежа от компании ( корпоративни мрежи).

Най-популярните са Голяма технология Data, като in-memory платформи на компании SAP, HANA, Oracle и др. Резултатите от проучването на T-Systems показаха, че те са избрани от 30% от анкетираните компании. На второ място по популярност са NoSQL платформите (18% от потребителите), компаниите също са използвали аналитични платформи от Splunk и Dell, те са избрани от 15% от компаниите. Най-малко полезни за решаване на проблеми с големи данни, според резултатите от проучването, са продуктите Hadoop/MapReduce.

Според проучване на Accenture в повече от 50% от компаниите, използващи Big Data технологии, разходите за Big Data варират от 21% до 30%.
Според следващия анализ на Accenture 76% от компаниите смятат, че тези разходи ще се увеличат през 2015 г., а 24% от компаниите няма да променят бюджета си за технологиите за големи данни. Това предполага, че в тези компании Big Data вече са се превърнали в утвърдена област на ИТ, превърнала се в неразделна част от развитието на компанията.

Резултатите от проучването на Economist Intelligence Unit потвърждават положителното въздействие на внедряването на Big Data. 46% от компаниите твърдят, че са подобрили обслужването на клиентите с повече от 10%, използвайки Big Data технологиите, 33% от компаниите са оптимизирали инвентара и са подобрили производителността на ключови активи, 32% от компаниите са подобрили процесите на планиране.

Големи данни в различни странимир
Към днешна дата технологиите за големи данни най-често се внедряват в американски компании, но сега други страни по света започнаха да проявяват интерес. През 2014 г., според IDC, страните от Европа, Близкия изток, Азия (с изключение на Япония) и Африка представляват 45% от пазара на софтуер, услуги и оборудване за големи данни.

Също така, според проучването на CIO компаниите от Азиатско-тихоокеанския регион бързо усвояват нови решения в областта на анализа на големи данни, сигурно съхранение и облачни технологии. Латинска Америка е на второ място по брой инвестиции в развитието на технологиите за големи данни, изпреварвайки Европа и САЩ.
След това ще бъдат представени описание и прогнози за развитието на пазара на големи данни в няколко страни.

Китай
Количеството информация в Китай е 909 екзабайта, което се равнява на 10% от общото количество информация в света, до 2020 г. количеството информация ще достигне 8060 екзабайта, а делът на информацията в глобалната статистика също ще се увеличи, през 5 години ще бъде равен на 18%. Потенциалният растеж на големите данни в Китай има една от най-бързо растящите динамики.

Бразилия
До края на 2014 г. Бразилия е натрупала 212 екзабайта информация, което е 3% от глобалния обем. До 2020 г. обемът на информацията ще нарасне до 1600 екзабайта, което ще бъде 4% от световната информация.

Индия
Според EMC обемът на натрупаните данни в Индия през 2014 г. е 326 екзабайта, което е 5% от общото количество информация. До 2020 г. обемът на информацията ще нарасне до 2800 екзабайта, което ще бъде 6% от световната информация.

Япония
Обемът на натрупаните данни в Япония към края на 2014 г. е 495 екзабайта, което е 8% от общото количество информация. До 2020 г. обемът на информацията ще нарасне до 2200 екзабайта, но пазарният дял на Япония ще намалее и ще достигне 5% от общото количество информация в целия свят.
Така обемът на японския пазар ще намалее с над 30%.

Германия
Според EMC обемът на натрупаните данни в Германия през 2014 г. е 230 екзабайта, което е 4% от общото количество информация в света. До 2020 г. обемът на информацията ще нарасне до 1100 екзабайта и ще бъде 2%.
На германския пазар голяма част от приходите, според прогнозите на Experton Group, ще бъдат генерирани от сегмента на услугите, чийто дял през 2015 г. ще бъде 54%, а през 2019 г. ще нарасне до 59%, делът на софтуера оборудването, напротив, ще намалее.

Като цяло размерът на пазара ще нарасне от 1,345 милиарда евро през 2015 г. до 3,198 милиарда евро през 2019 г., със среден темп на растеж от 24%.
По този начин, въз основа на анализите на CIO и EMC, можем да заключим, че развиващите се страни по света ще станат пазари за активно развитие на технологиите за големи данни през следващите години.

Основни пазарни тенденции
Според IDG Enterprise компаниите ще похарчат средно $7,4 милиона на компания през 2015 г. за големи данни, големите компании възнамеряват да похарчат приблизително $13,8 милиона, а малките и средни компании ще похарчат $1,6 милиона.
Повечето от инвестициите ще бъдат в области като анализ на данни, визуализация и събиране на данни.
Според текущите тенденции и търсенето на пазара, инвестициите през 2015 г. ще бъдат използвани за подобряване на качеството на данните, подобряване на планирането и прогнозирането и увеличаване на скоростта на обработка на данните.
Компаниите от финансовия сектор, според Insights Analysis на Bain Company, ще направят значителни инвестиции, така че през 2015 г. се планира да похарчат 6,4 милиарда щатски долара за технологии за големи данни, средният темп на растеж на инвестициите ще бъде 22% до 2020 г. Интернет компаниите планират да похарчат 2,8 милиарда долара със среден темп на растеж от 26% увеличение на разходите за големи данни.
По време на проучването на Economist Intelligence Unit бяха идентифицирани приоритетните области за развитие на Big Data през 2014 г. и през следващите 3 години, като разпределението на отговорите е както следва:

Според прогнозите на IDC пазарните тенденции са следните:

  • През следващите 5 години цената на решенията за големи данни, базирани на облак, ще нарасне 3 пъти по-бързо от цената на локалните решения. Хибридните платформи за съхранение ще станат популярни.
  • Растежът на приложенията, използващи сложни и предсказуеми анализи, включително машинно обучение, ще се ускори през 2015 г., пазарът на такива приложения ще расте с 65% по-бързо от приложенията без предсказуеми анализи.
  • Медийният анализ ще се утрои през 2015 г. и ще се превърне в ключов двигател на растежа на пазара на технологии за големи данни.
  • Тенденцията за прилагане на решения за анализиране на постоянния поток от информация, приложима към Интернет на нещата, ще се ускори.
  • До 2018 г. 50% от потребителите ще взаимодействат с услуги, базирани на когнитивни изчисления.
Пазарни двигатели и ограничители
Експертите на IDC идентифицираха 3 двигатели на пазара на големи данни през 2015 г.:

Според проучването на Accenture проблемите със сигурността на данните сега са основната бариера пред приемането на технологиите за големи данни, повече от 51% от респондентите потвърдиха, че са загрижени за защитата на данните и поверителността. 47% от компаниите съобщават за невъзможност за внедряване на Big Data поради ограничен бюджет, 41% от компаниите посочват като проблем липсата на квалифициран персонал.

Wikibon прогнозира, че пазарът на големи данни ще нарасне до 38,4 милиарда долара през 2015 г., което е ръст от 36% на годишна база. През следващите години ще има спад в темповете на растеж до 10% през 2017 г. Като се вземат предвид тези прогнози, размерът на пазара през 2020 г. ще бъде равен на 68,7 милиарда щатски долара.

Разпределението на глобалния пазар на големи данни по бизнес категории ще изглежда така:

Както можете да видите от диаграмата, по-голямата част от пазара ще бъде заета от технологии от областта на подобряването на обслужването на клиентите. Спот маркетингът ще бъде вторият най-висок приоритет за компаниите до 2019 г., през 2020 г., според Heavy Reading, той ще отстъпи място на решения за подобряване на оперативната ефективност.
Сегментът „подобряване на обслужването на клиентите“ също ще има най-висок темп на растеж, с увеличение от 49% годишно.
Пазарната прогноза за подтипове Big Data ще изглежда така:

Преобладаващият пазарен дял, както се вижда от диаграмата, заемат професионалните услуги, като най-висок темп на растеж ще имат приложенията с анализ, делът им ще нарасне от сегашните 12% на 18% през 2020 г. и обемът на този сегмент ще се увеличи бъде равен на 12,3 милиарда щатски долара, делът на изчислителното оборудване, напротив, ще спадне от 20% на 14% и ще достигне около 9,3 милиарда щатски долара през 2020 г., пазарът на облачни технологии постепенно ще нараства и през 2020 г. ще достигне 6,3 милиарда щатски долара, пазарният дял на решенията за съхранение на данни, напротив, ще намалее от 15% през 2014 г. на 13% през 2020 г. и в парично изражение ще бъде равен на 8,9 милиарда щатски долара.
Според прогнозата на Insights Analysis на Bain & Company разпределението на пазара на големи данни по отрасли през 2020 г. ще изглежда така:

  • Финансовата индустрия ще похарчи 6,4 милиарда долара за големи данни със среден темп на растеж от 22% годишно;
  • Интернет компаниите ще похарчат 2,8 милиарда долара и среден темп на нарастване на разходите от 26% през следващите 5 години;
  • Разходите на публичния сектор ще бъдат съизмерими с разходите на интернет компаниите, но темпът на растеж ще бъде по-нисък - 22%;
  • Телекомуникационният сектор ще расте със среден темп на растеж от 40% и ще достигне 1,2 милиарда долара през 2020 г.;

Енергийните компании ще инвестират в тези технологии сравнително малка сума - 800 милиона щатски долара, но темпът на растеж ще бъде един от най-високите - 54% годишно.
Така компаниите от финансовата индустрия ще заемат голям дял от пазара на големи данни през 2020 г., а енергетиката ще бъде най-бързо развиващият се сектор.
Според прогнозите на анализаторите общият обем на пазара ще се увеличи през следващите години. Растежът на пазара ще бъде осигурен чрез въвеждането на технологиите за големи данни в развиващите се страни по света, както се вижда от графиката по-долу.

Прогнозираният размер на пазара ще зависи от това как развиващите се страни възприемат технологиите за големи данни, дали те ще бъдат толкова популярни, колкото в развитите страни. През 2014 г. развиващите се страни по света представляват 40% от натрупаната информация. Според прогнозата на EMC сегашната пазарна структура, доминирана от развитите страни, ще се промени още през 2017 г. Според анализите на EMC през 2020 г. делът на развиващите се страни ще бъде повече от 60%.
Според Cisco и EMC развиващите се страни по света ще работят активно с Big Data, в много отношения това ще се дължи на наличието на технологии и натрупването на достатъчно информация до нивото на Big Data. Картата на света на следващата страница ще покаже прогнозата за растеж и темпа на растеж на Big Data по региони.

АНАЛИЗ НА РУСКИЯ ПАЗАР

Текущото състояние на руския пазар

Според резултатите от проучване на CNews Analytics и Oracle нивото на зрялост на руския пазар на големи данни се е увеличило през последната година. Респондентите, представляващи 108 големи предприятия от различни индустрии, показаха по-висока степен на информираност за тези технологии, както и разбиране на потенциала на подобни решения за техния бизнес.
Към 2014 г., според IDC, Русия е натрупала 155 екзабайта информация, което е само 1,8% от данните в света. Обемът на информацията до 2020 г. ще достигне 980 екзабайта и ще заема 2,2%. Така средният темп на нарастване на обема на информацията ще бъде 36% годишно.
IDC оценява руския пазар на 340 милиона долара, от които 100 милиона долара са решения на SAP, приблизително 240 милиона долара са подобни решения на Oracle, IBM, SAS, Microsoft и др.
Темпът на растеж на руския пазар на големи данни е най-малко 50% годишно.
Прогнозите са, че положителната динамика в този сектор на руския ИТ пазар ще продължи, дори в контекста на обща стагнация на икономиката. Това се дължи на факта, че бизнесът продължава да изисква решения, които подобряват ефективността на работата, както и оптимизират разходите, подобряват точността на прогнозиране и минимизират възможните рискове за компанията.
Основните доставчици на услуги в областта на Big Data на руския пазар са:
  • Оракул
  • Microsoft
  • cloudera
  • Hortonworks
  • Терадата.
Преглед на пазара по отрасли и опита от използването на Big Data в компаниите
Според CNews само 10% от компаниите в Русия са започнали да използват Big Data технологии, докато делът на такива компании в света е около 30%. Готовността за проекти с големи данни нараства в много сектори на руската икономика, според доклад на CNews Analytics и Oracle. Повече от една трета от анкетираните компании (37%) са започнали да работят с Big Data технологии, сред които 20% вече използват такива решения, а 17% започват да експериментират с тях. Втората трета от анкетираните в момента обмислят такава възможност.

В Русия технологиите за големи данни са по-популярни в банковия сектор и телекомуникациите, но се търсят и в минната индустрия, енергетиката, търговията на дребно, логистичните компании и публичния сектор.
След това ще бъдат разгледани примери за използването на Big Data в руската реалност.

Телеком
Телеком операторите разполагат с една от най-големите бази данни, което им позволява да извършват най-задълбочен анализ на натрупаната информация.
Една от областите на приложение на технологията Big Data е управлението на лоялността на абонатите.
Основната цел на анализа на данни е да задържи съществуващите клиенти и да привлече нови. За целта компаниите сегментират клиентите, анализират техния трафик и определят социалната принадлежност на абоната. В допълнение към използването на информация за маркетингови цели, телекомът използва технология за предотвратяване на измамни финансови транзакции.
Vimpelcom е един от най-ярките примери за тази индустрия. Компанията използва Big Data за подобряване на качеството на услугата на ниво всеки абонат, отчитане, анализиране на данни за развитие на мрежата, борба със спама и персонализиране на услугите.

банки
Значителна част от потребителите на Big Data се заемат от специалисти от финансовата индустрия. Един от успешните експерименти беше проведен в Уралската банка за реконструкция и развитие, където информационна базазапочва да се използва за анализ на клиенти, банката започва да предлага специализирани оферти за кредити, депозити и други услуги. През годината на използване на тези технологии кредитният портфейл на дребно на компанията нарасна с 55%.
Alfa-Bank анализира информация от социалните мрежи, обработва заявления за кредит, анализира поведението на потребителите на уебсайта на компанията.
Сбербанк също започна да обработва масив от данни за сегментиране на клиенти, предотвратяване на измами, кръстосани продажби и управление на риска. В бъдеще се планира подобряване на услугата и анализ на действията на клиентите в реално време.
Всеруската банка за регионално развитие анализира поведението на притежателите на пластмасови карти. Това ви позволява да идентифицирате транзакции, които са нетипични за конкретен клиент, като по този начин увеличавате вероятността за откриване на кражба на средства от пластмасови карти.

На дребно
В Русия технологиите за големи данни са внедрени както от онлайн, така и от офлайн търговски компании. Днес, според CNews Analytics, Big Data се използват от 20% от търговците на дребно. 75% от професионалистите в търговията на дребно смятат Big Data за необходими за разработването на конкурентна стратегия за популяризиране на компания. Според статистиката на Hadoop, след въвеждането на технологията Big Data печалбата в търговските организации нараства със 7-10%.
Специалистите на M.Video говорят за подобряването на логистичното планиране след внедряването на SAP HANA, също така, в резултат на внедряването му, изготвянето на годишните отчети беше намалено от 10 дни на 3, скоростта на ежедневно зареждане на данни беше намалена от 3 часа до 30 минути.
Wikimart използва тези технологии, за да генерира препоръки за посетителите на сайта.
Един от първите офлайн магазини, които въведоха анализ на големи данни в Русия, беше Lenta. С помощта на Big Data търговията на дребно започна да изучава информация за клиентите от касовите бележки. Търговецът на дребно събира информация, за да изгради поведенчески модели, които позволяват по-информирано вземане на решения на оперативно и бизнес ниво.

Петролна и газова индустрия
В тази индустрия обхватът на Big Data е доста широк. Технологиите за големи данни могат да се прилагат при добива на минерали от недрата. С тяхна помощ можете да анализирате самия процес на копаене и най-много ефективни начиниизвличането му, проследяване на процеса на сондиране, анализиране на качеството на суровините и обработка и маркетинг на крайния продукт. В Русия тези технологии вече се използват от Транснефт и Роснефт.

Държавни органи
В страни като Германия, Австралия, Испания, Япония, Бразилия и Пакистан технологиите за големи данни се използват за решаване на национални проблеми. Тези технологии помагат на публичните органи по-ефективно да предоставят услуги на населението, да предоставят целева социална подкрепа.
В Русия тези технологии започнаха да се усвояват от такива държавни агенции като Пенсионен фонд, Федералната данъчна служба и Фондът за задължително медицинско осигуряване. Потенциалът за реализиране на проекти, използващи големи данни, е голям; тези технологии могат да помогнат за подобряване на качеството на услугите и, като резултат, стандарта на живот на населението.

Логистика и транспорт
Големите данни могат да се използват и от транспортни компании. С помощта на технологиите Big Data е възможно да се проследява автопарка, да се вземат предвид разходите за гориво и да се следят заявките на клиентите.
Руските железници внедриха технологиите за големи данни заедно със SAP. Тези технологии помогнаха да се намали времето за отчитане с 43,5 пъти (от 14,5 часа на 20 минути) и да се подобри точността на разпределението на разходите с 40 пъти. Също така Big Data бяха въведени в процесите на планиране и регулиране на тарифите. Общо компаниите използват повече от 300 системи, базирани на решения на SAP, участват 4 центъра за данни, а броят на потребителите е 220 000.

Основни двигатели и ограничения на пазара
Двигатели за развитието на технологиите за големи данни на руския пазар са:
  • Повишен потребителски интерес към възможностите на Big Data като начин за повишаване на конкурентоспособността на компанията;
  • Разработване на методи за обработка на медийни файлове на глобално ниво;
  • Прехвърляне на сървъри, обработващи лична информация, на територията на Русия, в съответствие с приетия закон за съхранение и обработка на лични данни;
  • Изпълнение на индустриалния план за заместване на вноса на софтуер. Този план включва държавна подкрепа за местните производители на софтуер, както и предоставяне на преференции за местни ИТ продукти при закупуване за публична сметка.
  • В новата икономическа ситуация, когато доларът почти се удвои, ще има тенденция към нарастващо използване на услугите на руски доставчици на облачни услуги, а не на чуждестранни.
  • Създаване на технологични паркове, които допринасят за развитието на пазара на информационни технологии, включително пазара на големи данни;
  • Държавна програма за въвеждане на грид системи, които са базирани на Big Data технологии.

Основните бариери пред развитието на Big Data на руския пазар са:

  • Гарантиране на сигурността и поверителността на данните;
  • Липса на квалифициран персонал;
  • Недостатъчност на натрупаните информационни ресурси до ниво Big Data в повечето случаи руски компании;
  • Трудности при въвеждането на нови технологии в утвърдени Информационни системикомпании;
  • Високата цена на технологиите за големи данни, което води до ограничен брой предприятия, които имат възможност да внедрят тези технологии;
  • Политическа и икономическа несигурност, довела до изтичане на капитали и замразяване на инвестиционни проекти в Русия;
  • Нарастващите цени на вносните продукти и скокът на инфлацията, според IDC, възпрепятстват развитието на целия ИТ пазар.
Прогноза за руския пазар
Към днешна дата руският пазар на големи данни не е толкова популярен, колкото в развитите страни. Повечето руски компании проявяват интерес към него, но не смеят да се възползват от възможностите им.
Примери за големи компании, които вече са се възползвали от използването на технологиите за големи данни, повишават информираността за възможностите на тези технологии.
Анализаторите също имат доста оптимистични прогнози за руския пазар. IDC вярва, че делът на руския пазар ще се увеличи през следващите 5 години, за разлика от пазара в Германия и Япония.
До 2020 г. обемът на Big Data в Русия ще нарасне от сегашните 1,8% до 2,2% от глобалния обем данни. Количеството информация ще нарасне, според EMC, от сегашните 155 екзабайта до 980 екзабайта през 2020 г.
В момента Русия продължава да натрупва обем информация до ниво Big Data.
Според проучване на CNews Analytics 44% от анкетираните компании работят с данни, не по-големи от 100 терабайта*, а само 13% работят с обеми над 500 терабайта.

Въпреки това руският пазар, следвайки световните тенденции, ще се увеличава. Към 2014 г. IDC оценява размера на пазара на 340 милиона долара.
Темпът на растеж на пазара за предходните години беше 50% годишно, ако остане на същото ниво, тогава през 2018 г. обемът на пазара ще достигне 1,7 милиарда щатски долара. Делът на руския пазар в световния ще бъде около 3%, като ще се увеличи от сегашните 1,2%.

Най-възприемчивите индустрии към използването на големи данни в Русия включват:

  • Търговци на дребно и банки, за тях на първо място е важно да анализират клиентската база, да оценят ефекта от маркетинговите кампании;
  • Телеком - сегментиране на клиентската база и монетизация на трафика;
  • Публичен сектор - отчетност, анализ на заявления от обществеността и др.;
  • Петролни компании - наблюдение на работата и планиране на производство и маркетинг;
  • Енергийни компании - създаване на интелигентни електроенергийни системи, оперативен мониторинг и прогнозиране.
В развитите страни Big Data са широко разпространени в областта на здравеопазването, застраховането, металургията, интернет компаниите и производствените предприятия, най-вероятно в близко бъдеще руските компании от тези области също ще оценят ефекта от прилагането на Big Data и ще ги адаптират технологии в техните индустрии.
В Русия, както и в света, в близко бъдеще ще има тенденция към визуализация на данни, анализ на медийни файлове и развитие на интернет на нещата.
Въпреки общата стагнация на икономиката, през следващите години анализаторите прогнозират по-нататъшен растеж на пазара на големи данни, главно поради факта, че използването на технологиите за големи данни дава на своите потребители конкурентно предимство по отношение на повишаване на оперативната ефективност на бизнес, привличане на допълнителен поток от клиенти, минимизиране на рисковете и внедряване на технологии за прогнозиране на данни.
По този начин можем да заключим, че сегментът на Big Data в Русия е в етап на формиране, но търсенето на тези технологии нараства всяка година.

Основни резултати от анализа на пазара

Световен пазар
В края на 2014 г. пазарът на Big Data се характеризира със следните параметри:
  • пазарният обем възлиза на 28,5 милиарда щатски долара, което е увеличение от 45% в сравнение с предходната година;
  • по-голямата част от приходите на пазара на големи данни се състоят от услуги, техният дял е равен на 40% от общите приходи;
  • 36% от приходите идват от приложения и анализи на големи данни, 17% от компютърен хардуер и 15% от технологии за съхранение;
  • Платформите in-memory на компании като SAP, HANA и Oracle са най-популярните за решаване на проблеми с големи данни.
  • броят на компаниите с реализирани проекти в областта на управлението на големи данни нараства със 125%;
Пазарната прогноза за следващите години е следната:
  • през 2015 г. обемът на пазара ще достигне 38,4 млрд. щатски долара, през 2020 г. - 68,7 млрд. щатски долара;
  • средният темп на растеж ще бъде 16% годишно;
  • средните разходи на компанията за технологии за големи данни ще бъдат 13,8 милиона долара за големи компании и 1,6 милиона долара за малки и средни предприятия;
  • технологиите ще имат най-голямо разпространение в областта на обслужването на клиенти и целевия маркетинг;
  • през 2017 г. световната пазарна структура ще се промени към преобладаване на потребителски компании от развиващите се страни.
руски пазар
Руският пазар на големи данни е в етап на формиране, резултатите от 2014 г. са както следва:
  • обемът на пазара достигна 340 милиона щатски долара;
  • средният темп на растеж на пазара през предходните години беше 50% годишно;
  • общият обем на натрупаната информация е 155 екзабайта;
  • 10% от руските компании са започнали да използват Big Data технологии;
  • Технологиите за големи данни бяха по-популярни в банковия сектор, телекомуникациите, интернет компаниите и търговията на дребно.
Прогнозата за руския пазар за следващите години е следната:
  • обемът на руския пазар през 2015 г. ще достигне 500 милиона щатски долара, а през 2018 г. - 1,7 милиарда щатски долара;
  • делът на руския пазар в световния ще бъде около 3% през 2018 г.;
  • обемът на натрупаните данни през 2020 г. ще бъде 980 екзабайта;
  • данните ще нараснат до 2,2% от глобалните данни през 2020 г.;
  • технологиите за визуализация на данни, анализ на медийни файлове и интернет на нещата ще придобият най-голяма популярност.
Въз основа на резултатите от анализа можем да заключим, че пазарът на големи данни все още е в начален етап на развитие и в близко бъдеще ще наблюдаваме неговия растеж и разширяване на възможностите на тези технологии.

Благодарим ви, че отделихте време да прочетете тази обемна работа, абонирайте се за нашия блог - обещаваме много нови интересни публикации!

Подобни документи

    Принципи на технологиите "Умна къща". Избор на контролен елемент за системата. Разработване на софтуер за сегменти от стайната система за управление: измерване на влажност и температура, офлайн контролери осветление. Показване на информация на потребителя.

    дисертация, добавена на 07.08.2018 г

    Приложение на блокчейн технологията в финансов сектор, игрална индустрия, публична администрация. Създаване на концепция за комбиниране на блокчейн и Интернет на нещата за работата на мрежата Smart Home, внедряването й в комбинация с Big Data технология и изкуствен интелект.

    статия, добавена на 20.11.2018 г

    Концепцията, принципът на работа и елементите на системата "умен дом". Протоколи за обмен на данни между управляващи, предавателни и изпълнителни елементи. Пример практическо изпълнениепроект. Описание на основните програмни елементи на прототипа на "умната къща".

    дисертация, добавена на 30.07.2017 г

    Разглеждане на съществуващите проблеми на управлението на градския пътнически транспорт в Русия. Техника за автоматизация на системата за диспечерско управление. Анализ на надеждността на работата на експертната система за превоз на пътници в софтуерна среда AnyLogic.

    статия, добавена на 01.03.2019 г

    Описания на дизайна и характеристиките на роботите за забавление и защита. Управление на роботизирана прахосмукачка. Движение и външен вид на андроидите. Изучаване общ алгоритъмработа на системата "Умна къща". Интелигентен механизъм за управление в жилищни и офис помещения.

    резюме, добавено на 02/10/2015

    Проучване на такива технологични решения за градската среда като "умна улица", "интелигентен паркинг", "умен град". Описание на основните принципи на работа и функционалностинтернет на нещата, обозначаването на ефекта от тяхното прилагане и основните предимства.

    статия, добавена на 18.08.2018 г

    Разглеждане на схемата на устройства и софтуер "Умен дом". Развитие на комуникацията между елементите. Избор на елементни обекти. Изготвяне на техническа документация. Характеристики на внедряването и процеса на тестване. Проучване на използваните технологии.

    дисертация, добавена на 20.03.2017 г

    Разглеждане на въпроси, свързани с интегрираното развитие и внедряване на технологии като "Умен град". Запознаване с основните тенденции в развитието информационна сигурност. Заплахата като потенциална възможност за нарушаване на информационната сигурност.

    статия, добавена на 06/05/2018

    Разглеждан модел умен град IBM, състоящ се от три етапа: "инструменталност", "взаимосвързаност", "интелигентност". Начини за внедряване на енергоспестяващи технологии и екологосъобразно развитие на градските системи, тяхната ефективност.

    статия, добавена на 31.10.2017 г

    Концепцията за информационна система, нейното използване за обработка на информация, нейното съхранение и разпространение. Информационни технологии в индустрията на водния транспорт. Брегови и бордови информационни системи. Учебни и пристанищни технологични системи.

Лектор: Филип Кац


Интервю: Алексей Карлински

Много пъти вярвахме на обещанията на научната фантастика за невероятно бъдеще и всеки път надеждите ни бяха разбивани от скучно настояще. Все още живеем на земята и колите ни не летят във въздуха. „Отново бяхме измамени!“ - мислим си и зад всички тези фантазии отново пропускаме момента, в който бъдещето наистина идва.

Този път това се случи с появата на Big Data. Можем да ги игнорираме, но вече не можем да отричаме влиянието им върху живота ни. Филип Кац, архитект и специалист по големи данни, разказва как големите данни тихо промениха нашите градове и начина, по който живеем в тях.

Мултидисциплинарен специалист, архитект по образование, Филип е Big Data специалист. Завършил Казанския университет по архитектура, Института по медии, архитектура и дизайн Стрелка, един от основателите на проекта Branch Point. Преподава в Санкт Петербургския национален изследователски университет по информационни технологии, механика и оптика и се занимава с анализ на данни за Rambler&Co.

близо

Филип, моля, кажете ни как се използват технологиите за големи данни архитектурен дизайни градоустройството днес?

Да започнем с факта, че преди четири години, когато учих в Стрелка, поне в Русия никой не знаеше за Големите данни. Светът само говори за тях. Година по-късно в Русия всички знаеха за тях и бяха болни от тях. Струва ми се, че това е до голяма степен традиционна динамика – кога нова технологиясе издига на пиедестал, възхвалявана е и след това доста бързо се появява скептицизъм срещу нея. Технологията е съборена от пиедестала си и след това те се интегрират в обществото по по-спокоен начин.

Ако говорим за архитектурен или градоустройствен анализ, тогава ми се струва, че днес това е един вид компромис между модерни технологиии традиционен анализ. Например, преди година помагах на мой приятел да участва в архитектурен конкурс за студенти в Съединените щати. За тях градският управител предостави GIS файлове с доста добро описаниеданни: транспортни маршрути, обем на тези маршрути, където всяка година се появяват локви, където се наводнява на всеки пет години, където има блокове с високо ниво на данъци, където има блокове с висок процент черни. В Съединените щати детайлността на статистиката е висока и данните са обобщени доста добре, така че дори на ниво състезателен проект можем да получим някои неща готови. Не е трябвало да бъдат събирани или анализирани.

Повечето от най-полезните анализи според мен се свеждат до факта, че приемате някои данни като факти и проектирате въз основа на тях. И въпреки че данните може да са еднакви за всички, те все още се четат и разбират по напълно различни начини.

Google твърди, че техните самоуправляващи се автомобили могат да намалят броя на автомобилните произшествия и да помогнат за по-ефективното използване на горивото и пространството по пътищата / снимка: Google.com

Как сте използвали Big Data технологиите във вашата практика?

Дълго време правихме проекта "Branch Point" с моите колеги Едик Хайман и Саша Болдирева - опитвахме се по някакъв начин да обсъдим и развием дигитален дизайни, разбира се, тогава нашата обща постулирана мечта и крайна цел беше дизайн, базиран на параметри. В същото време нашата крайна мечта беше именно да намерим нови формални решения, базирани на някакъв хитър код, който да отговаря на нашите изисквания, но формата на резултата да не е тази, която сме заложили, а някаква неочаквана - красива.

Анализът е вид изкуство, където във всеки случай алгоритъмът за работа с данни е картина

В зрялата възраст на проекта всички ние разбирахме, че тази мечта е не само непостижима, но по-скоро идеята, че една сграда трябва да бъде изцяло проектирана въз основа на данни, беше противоречива. По-скоро е нещо, към което трябва да се стремите, но разберете, че никога няма да стигнете до там.

Тук за мен възниква важен диалектически момент. Да предположим, че създаваме алгоритъм и разбираме, че на първо място, поради генетични изисквания, той изисква доста прости, но все пак формални параметри. И в една сложна система, а една сграда или квартал е сложна система, веднага се появяват много такива параметри, които трябва да бъдат приведени към общ знаменател. Винаги се нуждаете от първичен формален жест, някаква форма: цилиндър или паралелепипед, пирамиди и така нататък.

Ако погледнем работата на Заха Хадид, винаги има някакъв елегантен формален жест в основата на проекта. След това може да се модифицира цифрово, но винаги остава в основата на всичко и принадлежи на писалката на автора. След това генетичният алгоритъм може да избере най-добрата от получените опции, но никога няма да може да ги измисли.

Тоест в основата на дизайна винаги ще стои човешката воля. Как в този случай ще се промени степента на човешко участие в дизайна с развитието на Big Data?

В бъдеще виждам някакъв аналитичен двигател - голям и сложен квантов компютър, например, или телепати и парапсихолози, потопени в камери за лишения, които предсказват нещо или предлагат нещо, на което си струва да се обърне внимание.

Мисля, че човек никога няма да бъде изтръгнат от процеса. Всички тези неща (методи за анализ на големи данни) се наричат ​​алгоритми за подпомагане на вземането на решения и същността им се свежда до възможно най-ефективно изваждане на аномалии в динамиката на процесите и минимизиране на процента технически труд на човек. Един анализатор трябва да е експерт в работата с тях и алгоритмите могат да му донесат всичко на сребърен поднос, освен всъщност решението. Разбира се, има технически праг за навлизане в тази дисциплина, но самият анализ е форма на изкуство, където алгоритъмът за работа с данни е картина. Шедьовър.

Дроновете, оборудвани с камера, могат независимо да патрулират в даден район и да прехвърлят изображения в него информационен центърна живо / снимка: Kevin Baird / Flickr.com

Големите данни не могат да покрият цялата информация. Как да се справим с това, което не се взема предвид при анализа на Big Data?

Наистина, анализаторите често са критикувани, че описват само тези, които са свързани с интернет, а тези, които не са свързани с интернет, са изхвърлени от анализа. Това е абсолютно вярно, но има своя логика на защита. Казано цинично, ако не познаваме проблемите на една баба, която се притеснява да пише в интернет, защото не е свикнала, тогава можем да пренебрегнем нейните проблеми, просто защото ако използваме този подход, тогава или бабата, или тя внук ще я издържа, евентуално да пише.

Друг проблем се крие във факта, че всяка технология за събиране или съхраняване на данни винаги е първият фактор за грешка. В същото време е невъзможно по принцип да се проследи цялата многофакторност - защо хората играят по този начин, а не по друг начин. Първоначално Big Data не дава отговор. Те ви позволяват да задавате сериозни въпроси.

Как възможността да задаваме въпроси по нови начини променя представата ни за града?

Едуард Хайман веднъж измисли термина „плагополис“. Идеята е съвременният град да става все по-инициативен и динамичен. Днес това е някаква среда със свои потоци, движения, където течността, която прелива в съдовете, се саморегулира през цялото време. В същото време можете да хванете точка и да я оправите много условно. Той незабавно ще промени себе си и ще промени други точки около себе си. За мен тази идея е доста практично нещо за работа. Сега става ясно, че вече не можем да възприемаме града като нещо механично.

Приема ли се тази идея в руското градоустройство?

На ниво градоустройство в този руски смисъл това не е очевидно. Така или иначе започваме с чертане на пътеки, улици и вярваме, че накрая ще стане така. В най-добрия случай започваме да мислим, че трябва да проверим как да го направим правилно и тогава или ще бъде начинът, по който рисуваме, или хората сами ще преработят всичко по-късно.

Големите данни не дават отговор. Те ви позволяват да задавате сериозни въпроси.

Като цяло обвиненията, базирани на стереотипи и абстрактни идеи, днес са много досадни. Освен това архитектите и урбанистите, на първо място, ме побъркват. Те просто казват, че "пешеходците са по-добри от шофьорите" или че "креативният бизнес ще превърне един индустриален парк в рая на земята". Бих искал да има основно изчисление зад което и да е от тези неща, защото може да е така, но може и да не е така и в повечето случаи някак си е грешно.

Как тогава Големите данни могат да ни помогнат да разберем по-добре града?

Градът винаги е слон от приказка за слепите, които се опитват да го опишат с допир. Винаги работим по един и същи начин - някой хваща за дупето, някой за ухото, някой за багажника. И всеки в същото време казва, че вижда слон. В нашия случай всички също вярваме, че сме зрящи и знаем какво е град.

Big Data ни предпазва от докосване само на едно място, дава ни възможност грубо да си представим общата форма на слон и да разберем, че докосваме приблизително това място, но има и други. Получавам огромни отчети за града и винаги мога да вляза в някои конкретни десет реда данни, да погледна и да попитам: защо е така? Обикновено това става началото на някакво разследване, проучване, история.

ГИС данните, комбинирани с алгоритми за пространствено моделиране, помагат да се предвиди нивото на изолация в избрана област / снимка: Trevor Patt / Flickr.com

Дали тези отражения, вдъхновени от Big Data, са изразени по някакъв начин в реални проекти по-късно?

Има т. нар. метод "градска акупунктура". Неговата същност се крие във факта, че градът търси, така да се каже, болезнени възли и в тези малки възли - в пространства от максимум блок и за предпочитане в една сграда или дори на някаква малка площ между сградите - се прави някаква промяна. Поради размера на бюджета той е напълно микроскопичен, а промените за града като цяло, ако тези възли са правилно изчислени, са огромни.

Макар че "Градската акупунктура" днес е по-скоро спекулативен проект, вече има умни пространствени решения, със светофарна уредба единна система, Например. Те, съчетани с интелигентни пътища, ви позволяват да промените пространството и това може да доведе до неочаквани изпускателни газове. Дори днес се извършва роботизация на индустриите и това също добавя стойност. Ако сегаДроноветеще започне да транспортира стоки, след това градска логистикасмерджица (от английски за сливане — "сливане"— А.К.)- и има числа, и тук има числа. Определено ще бъде много по-лесно да работите с това, отколкото с живи шофьори на камиони.

Технологията, от която в момента съм вдъхновен и се надявам да излезе нещо архитектурно от нея, е новият проект на Amazon, където има интелигентен високоговорител в центъра на къщата, който слуша всичките ви въпроси и отговаря на тях. Нещо като Siri, само че в къщата. Тази технология вероятно ще промени усещането на града за пространство повече от всеки алгоритъм.

Значи градът ще разчита все повече на софтуер?

Точно. Сега I / O и различните интерфейси за получаване на информация от човек се променят много институционално. От моя гледна точка услугата за повикване на евтино такси променя живота ми много повече от 90 процента от градоустройствените решения. Такситата много променят представата ми за града. Въпреки целия предишен опит, с появата на Yandex. Таксито и конкуренцията на таксиметровите услуги се оказа, че таксиметровите ни шофьори са любезни, а парите са специфични и реагират бързо - изобщо не като в някой Ню Йорк.

Евтините таксиметрови услуги променят живота ми много повече от 90 процента от градоустройствените решения

Мисля, че най-важната услуга, която може да направи огромни печалби от uberification, е проституцията. Хипотетичният потребител е срамежлив и може би затова много хора не използват услугите на проститутки - това им се струва нещо опасно, страшно и неразбираемо. Ако седят на телефона си - със сигурност би им било много по-лесно. Разбира се, това веднага ще отнеме хляба на сводниците и ще промени напълно бизнеса. Просто колосално! Мисля, че скоро това ще се случи в някоя либерална държава.

Смятате ли, че хората ще могат лично да работят с технологиите за големи данни в бъдеще?

Мисля, че всичко води до това. Технологичната сложност ще се увеличи и това е разбираемо, но на практика ще се научим как да го опаковаме правилно. Гладки интерфейси(от английски елегантен— тънък, грациозен— А.К.)днес, до известна степен, опростете нашето възприятие за това как се случва всичко. Ето копче, ето пипка и това е. Днес колкото повече можете да скриете от обикновения човек, без да губите функция, толкова по-добре, защото хората са малко уплашени от цялата тази сложност. Въпреки че известната технология, както в Minority Report, не се появи, но чувствено филмът много правилно описва какво ще се случи сега.

Какво ще бъде? С какво според вас ще се сблъскат големите данни в близко бъдеще?

Те се появиха като някаква модна тема и сега бавно отшумяват, защото най-очевидните неща вече са направени. По-нататък ще е необходимо да се разработят техническите механизми в методиката - не в романтична, а в утилитарна форма. Сигурен съм, че след пет години ще има доста добре платена и може би доста скучна позиция на някакъв дигитален анализатор в кметството, в министерствата и бизнеса.

В същото време Big Data има известно заболяване. Има хора, които разбират какво правят, и има хора, които се хранят с това, които всъщност не разбират как работят големите данни. Дупка между професионални технолози и хора, които разбират защо всичко това може да се случи, винаги съществува във всеки бизнес, във всяка наука и това със сигурност е проблем. Хората, които познават технологичната страна и експериментират с нови решения, рядко правят наистина полезни неща, а хората, които знаят как да прилагат тези разработки, също не могат да създадат качествен продукт сами. Затова единственият начин за развитие при работа с големи данни е намирането на нови начини за взаимодействие между специалистите.