Как говорит генеральный директор Cloudera Майк Олсон, аналитическая платформа Hadoop имеет ряд существенных ограничений, связанных со скоростью и сложностью. Однако лидеры отрасли, в том числе работающие в его собственной фирме, работают над тем, чтобы изменить это, будучи уверены, что этот исследовательский инструмент будет развиваться фундаментальным образом в ближайшие годы.
На прошлогодней Strata Conference Олсон попросил аудиторию представить, как, если бы он был создан сегодня, Hadoop был бы спроектирован по-другому, полагая, что некоторые конкретные изменения могут открыть новые ворота для исследований в таких областях, как образование, энергетика и сельское хозяйство. Ссылаясь на космолога и научного автора Карла Сагана, Олсон подчеркнул важность разделения данных высокого уровня для большей аудитории.
«Я думаю, что мы находимся на грани крупных открытий, которые имеют значение для бизнеса и общества», - сказал Олсон.
Одним из примеров, отметил он, является научное открытие, которое стало возможным благодаря работе научных специалистов на Большом адронном коллайдере в Швейцарии. По словам Олсона, это ежедневная оценка 37 терабайт данных, которые привели к ключевым достижениям, таким как открытие Хиггса-Бозона на водоразделе, которое выявило ключевые аспекты материи и энергии. Олсон добавил, что Hadoop помогает в этих фундаментальных исследовательских проектах, собирая огромное количество данных в одном репозитории, но трудно взаимодействовать с этими данными в режиме реального времени.
Рассказывая о том, как Hadoop и аналогичные технологии могут помочь ученым в ключевых областях, таких как здравоохранение, Олсон также объявил о проекте Impala, над которым его компания работает два года, с двумя четвертями бета-тестирования в координации с основными клиентов. По словам Олсона, проект Impala - это технология со 100% открытым исходным кодом, имеющая лицензию Apache, которая работает с Hadoop как «механизм запросов в реальном времени». Это, по словам Олсона, позволяет то, что он называет «скоростью мыслительных запросов», когда пользователи могут задать вопрос, получить ответ и сформулировать новый вопрос для эффективного использования основных кластеров данных.
«Это дает вам новый способ получить доступ к вашим данным», - сказал Олсон, объяснив, как такой прогресс может открыть дополнительные возможности для решения основных проблем в США и за рубежом.
