Что такое hadoop? теория циника

Все, что выглядит слишком хорошо, чтобы быть правдой, обычно так и есть. Так может быть в случае с Apache Hadoop, популярным проектом с открытым исходным кодом, о котором все продолжают говорить. Так что же это за штука? Хороший вопрос!

Эксперты сомнительные

Аналитик из третьей природы Марк Мэдсен некоторое время назад прибил его к стене в содержательной статье на InsideAnalysis.com: «Что такое Hadoop. Чем не Hadoop». Как человек, который знает, как разрабатывать реальные решения, а затем развертывать их, его советы не следует игнорировать.

Но здесь течет более глубокий поток, и настало время, чтобы раскопать корни этой удивительной флоры, чтобы увидеть, не можем ли мы получить некоторое представление о том, что происходит на более макроуровне. В конце концов, поставщики продолжают говорить, что это большая сделка, а участников так много.

Нанимайте коммиттеров! (?)

Три компании в настоящее время владеют большей частью зарождающегося рынка Hadoop: Cloudera, Hortonworks и MapR. На недавнем, довольно спорный брифинге через Боулдер BI Brain Trust (#BBBT), Джим Уокер Hortonworks сделал этот любопытный комментарий:

«Вы не можете продвигать технологию, если вы не нанимаете коммиттеров!»

Приходи еще?

Разве это не похоже на то, что сенатор Палпатин мог бы сказать в фильме «Звездных войн»?

Сенатор Палпатин: «Нанимайте коммиттеров!»

Миньон поблизости: «Но, но, сэр! Подумайте о детях!»

Для непрофессионала, который просто пытается добиться своей цели, коммиттеры - это люди, которые посвящены конкретному проекту с открытым исходным кодом. У Apache Foundation есть строгие протоколы, по которым их проекты продвигаются вперед, что часто является хорошей вещью.

Тем не менее, комментарий Уокера требует экспертизы. Один заостренный вопрос (рискуя вызвать дни на игровой площадке): «Это обещание или угроза? Он говорит, что Hortonworks может просто взять их мяч и пойти домой?

Сотрудничество или конкуренция?

Интересная, хотя и парадоксальная точка зрения здесь заключается в том, что, по сообщениям, большинство коммиттеров в команде Hadoop (около 30 или около того) из Hortonworks и Cloudera, которые являются конкурентами. Это очень любопытный случай конкуренции.

Так в чем же дело? Вот обоснованное предположение: Hadoop во многом обязан своей известности умному плану, задуманному группой венчурных капиталистов и инженеров из Силиконовой долины, которые, по сути, пытаются застраховать свои ставки против Oracle.

Основная идея состоит в том, чтобы наполнить рынок фундаментом кода, который может быть улучшен и поддержан партией тряпичных разработчиков, которая в идеале со временем создаст всевозможные инструменты управления данными, включая продукты баз данных. ВК могут инвестировать и обналичивать деньги когда-нибудь. Но в игре есть серьезные проблемы.

Как и все монолитные предприятия, Oracle часто оказывается в перекрестии многих мелких игроков. И кто не хотел бы только часть их ошеломляющего дохода? Только за последний квартал Oracle забронировала ~ 9 миллиардов долларов. Но бросить вызов Большому Красному и победить его - две совершенно разные реальности.

Бесплатная веб-трансляция: что такое Hadoop и куда он идет? Присоединяйтесь к Эрику Кавана, Робину Блуру и Techopedia для обсуждения того, как Hadoop сильно отличается от Linux или SOA, и почему его будущее остается в значительной степени неписаным.

Проблемы с упаковкой

Суть Hadoop, по сути, в том, что это ни в коем случае не пакетное решение. Скорее, это сложный набор модулей, которые позволяют высококлассным программистам использовать массивные алгоритмы параллельной обработки для выполнения очень специфических задач. Но нет никакого необычного пользовательского интерфейса, и руководства являются жестокими.

Добавьте к этому вызову это критическое препятствие: вам также нужны деловые люди, которые хотя бы имеют общее представление о том, что он может сделать. Эти люди должны быть в состоянии придумать идеи о том, как его можно использовать, а затем общаться с разработчиками, которые должны впоследствии создавать, тестировать, внедрять и поддерживать приложения.

Оркестровка этого танца - то, как Cloudera и Hortonworks делают большую часть своих денег. Проблема в том, что большинство решений, созданных с помощью этого метода, являются уникальными и обычно ориентированы на операционные системы, а не на аналитические. Перевод? Подобные вещи на самом деле не годятся для упакованных программных продуктов.

Рентабельность упаковки!

Что возвращает нас к Oracle. Ларри Эллисон и его парни занимаются продажей технологий, оборудования, услуг и (в ожидании этого …) программного обеспечения для баз данных. Cloudera, видимо, поняла это, отсюда их внимание к Impala. Но Hortonworks?

Их модель, кажется, более близко имитирует модель RedHat, людей, которые построили бизнес на миллиард долларов поверх операционной системы Linux. Ни один крупный поставщик в индустрии корпоративного программного обеспечения не пишет для Linux, ОС, с помощью которой IBM загнала Microsoft на проход. Но Hadoop - это не Linux.

Доктор Джеффри Малафски, бывший нанотехнолог военно-морского флота США, ныне специалист по данным из Phasic Systems и Института PSIKORS, рассматривает ценностное предложение Hadoop следующим образом:

«Hadoop отлично подходит для поиска, очень большого анализа тенденций для стохастических результатов и, вероятно, для некоторой очень дешевой умной параллельной обработки вещей, которые делала моя бывшая жена: квантово-механическая волновая функция для расчета твердотельного состояния и химических реакций. на суперкомпьютерах и немного перешли на параллельную обработку, но это сложная смена подхода к программированию. Молодые, умные, энергичные аспиранты будут делать это. Я подозреваю, что исследовательские гранты начнут двигаться в этом направлении для некоторых мощных вычислительных Приложения."

Вы заметите, что это не звучит как хранилище данных, бизнес-аналитика, интеграция данных или даже большие данные. Звучит как суперкомпьютер. И по какой-то интересной причине миры высокопроизводительных вычислений и бизнес-аналитики никогда не сталкивались и не объединялись каким-либо значимым образом.

Долгий путь вперед для Hortonworks и Cloudera

И вот действительно плохие новости для Hortonworks и, возможно, Cloudera. Крупные поставщики, такие как IBM, SAP, Oracle и Teradata, мягко говоря, и процитировали Dire Straits: «Ребята, они не глупы!» Три и более лет назад все они развернули серьезные стратегии Hadoop.

Центральными в этих планах являются те вещи, которые ожидают бизнес-пользователи: графические пользовательские интерфейсы, функциональность перетаскивания, инструменты моделирования и обнаружения, рабочий процесс, управление, безопасность; короче говоря, все кусочки, которые делают корпоративное программное обеспечение пригодным для использования. И, конечно же, эти крупные поставщики имеют огромные базы для установки.

Безусловно, Cloudera и Hortonworks оба получили хороший бизнес, но лишь малая часть того, что получают эти крупные игроки каждый год. Посчитайте, сколько претенденты берут со своих клиентов, по сравнению с вероятностью их накладных расходов, и картина не такая радужная. Конечно, это нормально для программ на ранней стадии, но все же …

Будущее Hadoop?

Итак, можем ли мы увидеть классическую волну приобретений, как это было в августе, когда IBM купила Cognos, Oracle получила Hyperion, а SAP получил BusinessObjects? Возможно, но новые дети в этом блоке не владеют Hadoop; они просто заимствуют это. И как бы многообещающе ни были YARN и Tez, циклы выпуска, похоже, отстают от того, что производят тяжелые нападающие.

Буквально на днях один из представителей отрасли прокомментировал, что политика в Apache может стать серьезным узким местом. Это не страшно удивительно, особенно если учесть, что в этом участвуют доллары - у новаторов есть отличная мотивация разбогатеть. И кто-нибудь заметил, как Chrome превзошел Firefox по функциональности и работоспособности в последнее время? Закрытый источник, кто-нибудь?

Одно можно сказать наверняка: эта игра получится интересной. Да, млекопитающие (читай: мелкие продавцы) часто могут опережать динозавров; но все еще есть аллигаторы и крокодилы по всему миру; и если вы наткнетесь на одного врасплох, вы можете просто обнаружить, насколько острыми могут быть эти зубы. Несколько крокодилов вместе могут даже убить слона или двух.