Q:
Какие обстоятельства привели к росту экосистемы больших данных?
A:Есть много факторов, которые способствовали появлению сегодняшней экосистемы больших данных, но есть общее мнение, что большие данные появились из-за ряда аппаратных и программных решений, которые просто позволяли существовать большим данным.
| Вебинар: Big Iron, Meet Big Data: освобождение данных мэйнфреймов с помощью Hadoop & Spark Зарегистрируйтесь здесь |
Обычное определение больших данных заключается в следующем: наборы данных, которые являются достаточно большими и сложными, что они не поддаются простому итеративному управлению или управлению вручную. Большие наборы данных часто идентифицируются как наборы данных, которые не могут вписаться в простую сеть баз данных, потому что их анализ требует слишком много работы со стороны серверов, обрабатывающих данные.
Имея это в виду, основная часть того, что создавало большие данные, - это идея, известная нам как Закон Мура, или удвоение транзисторов в цепи каждые два года, создавая все более компактные устройства и устройства хранения данных (а также более мощные микропроцессоры)., В связи с Законом Мура и, возможно, из-за этого вычислительные возможности доступных программных систем продолжали расти, вплоть до того, что даже персональные компьютеры могли обрабатывать гораздо большие объемы данных, а деловые и авангардные системы стали способны обрабатывать размеры данных. немыслимо только несколько лет назад. Персональные системы перешли с килобайт на мегабайты, а затем на гигабайты, в процессе, прозрачном для потребителей. Авангардные системы перешли с гигабайт на терабайты и петабайты и на порядки величин, таких как зетабайты, способами, которые были гораздо менее прозрачны для рядового гражданина.
Еще одним преимуществом, связанным с большими данными, были изменения в способах обработки обработчиками наборов данных. Вместо линейной обработки с использованием традиционной реляционной базы данных обработчики начали использовать такие инструменты, как Apache Hadoop и связанные с ними компоненты управления оборудованием, чтобы устранить узкие места в процессах обработки данных.
Результатом является большой мир данных, в котором мы живем, где массивные наборы данных хранятся и хранятся в центрах обработки данных, и к ним все чаще применяется широкий спектр технологий для широкого спектра применений. От торговли до экологии, от государственного планирования до медицины большие данные становятся все более доступными. Между тем, правительственные учреждения и другие крупные организации все еще расширяют границы больших объемов данных и внедряют еще более совершенные решения.
