Сотрудники Techopedia, 11 мая 2016 г.
Вывод: ведущий Rebecca Jozwiak обсуждает достижения в области архитектуры и хранения баз данных с Дезом Бланчфилдом, Робином Блором и Брайаном Булковски.
Вы не вошли в систему. Пожалуйста, войдите или зарегистрируйтесь, чтобы увидеть видео.
Ребекка Йозвиак: Уважаемые дамы и господа, привет и добро пожаловать в «Горячие технологии 2016». Сегодня мы: «Разоблачение дифференциации: наступает новая эра масштабируемой инфраструктуры». Сегодня я присоединяюсь к Эрику Кавана. Меня зовут Ребекка Джозвиак, ваш скромный хозяин из совета директоров, пока Эрик уезжает на Ямайку. Хорошо для него.
Так что, как это было на протяжении десятилетий, в этом году жарко, хотя, возможно, технологии движутся в темпе, который опережает закон Мура, и что делают организации, чтобы не отставать? Они ищут что-то быстрое, и масштабирование, я бы сказал, вероятно, одна из самых важных вещей, когда мы думаем о базах данных. И, конечно, у нас есть опции для обычного реляционного, теперь у нас есть NoSQL, у нас есть хранилище столбцов, у нас есть базы данных графов, базы данных RDF, но на самом деле бизнес ищет масштабируемость, параллелизм и скорость.,
Теперь традиционные архитектуры были основаны на этой реляционной модели. Но если вы посмотрите на большинство веб-бизнесов, возникших за последние три, пять, десять лет, это не те модели, которые они используют для своей инфраструктуры. Они используют другую параллельную архитектуру, они масштабируются и работают быстро, и именно к этому сегодня обращаются многие люди.
Наш состав, у нас есть Dez Blanchfield, он ученый из Bloor Group. У нас есть доктор Робин Блур, наш главный аналитик в Bloor Group, и у нас есть Брайан Булковски, технический директор и основатель Aerospike. Так что, ребята, я передам это Дезу.
Дез Бланчфилд: Спасибо, и спасибо, что пригласили меня сюда. Я собираюсь попытаться подготовить почву для того, чтобы мы как-то очень быстро добрались до того места, где мы находимся, и мы собираемся углубиться в гораздо больше технических деталей при рассмотрении сегодняшних тем. Я просто собираюсь получить контроль над экраном здесь.
Так больше, лучше и быстрее. Когда я думаю о том, где мы находимся, образ, который лично мне приходит в голову, - это тот самый образ, который я получил на титульном слайде, который является расширением Вселенной. У нас технологии развивались и развивались уже десятилетия, фактически с конца пятидесятых годов, когда мейнфрейм стал реальностью. Технология продолжает расти во многих случаях со скоростью, превышающей или превышающей линейную кривую, в зависимости от того, на какой части кривой вы находитесь, в зависимости от программного или аппаратного обеспечения.
Масштаб становился все больше и больше, все быстрее и быстрее, насколько мы пытаемся предоставить, и все меньше и меньше на уровне производства и полупроводников. И в середине есть программное обеспечение, приложения и системы, которые лежат в основе этого программного обеспечения, и они имеют тенденцию становиться все меньше и меньше по своей природе, и мы видели такие вещи, как приложения в контейнерах и микросерверы, это снова стало вещью. Мы делали это в прошлом, десятилетия назад, но в результате того, что мы становимся все меньше и меньше, мы становимся все больше и больше в том масштабе, в котором мы можем теперь управлять такими вещами, как приложения и конкретные базы данных, а также логикой эти базы данных.
У меня есть это представление, где мы масштабировали очень горизонтально, по существу, по оси X; мы масштабировали вертикально по оси Y. Сейчас мы находимся в той точке, где нам нужно пойти куда-то по-другому, и, на мой взгляд, это мысленно предусмотрено как ось Z, и это то, что мы должны углубиться в технологию и посмотреть, как мы можем сделать вещи, отличные от того, что мы сделали до сих пор, чтобы получить этот дополнительный кусок скорости. Так что я визуализирую все это расширение вселенной, где произошел взрыв, существуют некоторые технологии, и этот лучший линейный рост и спрос. Нам пришлось искать разные способы, чтобы добиться большего, лучшего и быстрого результата.
Просто для того, чтобы быстро охватить то, где мы сейчас находимся в паре аппаратных сред. Мы видели, что снижение стоимости гигабайта дискового пространства привело к нескольким довольно большим переходам и технологиям, и подходы к более крупной, лучшей и более быстрой проблеме масштабирования. Это два отдельных графика, которые охватывают примерно десятилетие за штуку, чуть более десяти лет за каждую падающую цену одного гигабайта дискового пространства.
Это классическая кривая J или хоккейная клюшка, как мы часто на них ссылаемся, потому что некоторое время назад вы могли потратить буквально сотни тысяч долларов, чтобы купить гигабайт дискового пространства, не совсем два десятилетия назад, тогда как сегодня это стало долларами и в конце концов я уверен, что все закончится тем, что мы называем гонку нулем, она станет центом. Это привело к интересному изменению того, что могут делать предприятия. И я имею в виду это как нарушение данных или больших данных в частности, и под этим я имею в виду то, что мы видели технологии, например, как стать чем-то, что мы могли бы масштабировать в хранилище очень горизонтально, и тип вычислений, которые мы используем. может применяться к этому хранилищу, и как он открывает интересную технологию, потому что она позволяет нам создавать очень большие избыточные параллельные хранилища на самом быстром уровне, и части Hadoop сами по себе, изначально имея возможность копировать данные в режиме записи после многократного чтения и просто масштабировать вещь в почти линейном классе.
И все такие компании, как эта, начинают срывать большие данные. У нас есть такие компании, как Uber, которые являются крупнейшей в мире компанией такси. На самом деле у них нет такси, и здесь длинный список. Airbnb является крупнейшим поставщиком жилья, фактически не имеет недвижимости. Одним из моих любимых является Facebook, например, в этом списке, где они на самом деле не создают контент, мы создаем его для них, но на самом деле они являются крупнейшим владельцем медиа на планете. У нас есть интересные, такие как самые быстрорастущие банки, на самом деле у нас нет денег. Это одноранговые кредитные платформы и банки, и в частности, в Австралии есть такая, которая пользуется растущей известностью под названием SocietyOne. И некоторые из крупных банков, которые должны иметь наличные деньги, инвестируют в этот конкретный одноранговый банк. И мы проходим этот список даже до Netflix; у них нет кинотеатров, и, тем не менее, они фактически являются крупнейшим кинотеатром на планете.
Таким образом, они пришли к тому, что находились, на мой взгляд, благодаря применению интеллектуальных технологий на уровне данных, потому что мы могли бы создавать большие и более широкие хранилища при меньших затратах из-за упавшей цены на гигабайт места на жестком диске, и мы могли применить некоторые интеллектуальные вычисления и распределить вычислительную модель по этому. Эти компании имели возможность создать конкурентное преимущество и сорвать в результате этого падения стоимости дискового пространства.
Мы видели подобное в стоимости памяти. Пару десятилетий назад, если бы у вас было шесть миллионов долларов, вы могли бы купить гигабайт оперативной памяти, и у нас была очень похожая кривая J или хоккейная клюшка, что привело к снижению затрат или падению цены ОЗУ. И это привело к некоторым интересным вещам, и, на мой взгляд, одним из величайших нарушений в этом пространстве является объем памяти, который может быть встроен в устройства, такие как мобильные устройства, как телефоны и планшеты, и даже ноутбуки. Компьютеры в наши дни, объем памяти, который уходит на обычный ноутбук, в некоторых случаях довольно смешной. В некоторых случаях мой текущий ноутбук имеет больше памяти, чем некоторые серверы, которые они использовали не так давно.
Это привело к значительным изменениям в своем собственном праве, так же, как в моей памяти, это позволило нам быстро масштабироваться и масштабироваться. И теперь у нас появилась технология, которую мы называем флэш-памятью, и эта технология изначально основана на оборудовании в форме EEPROM, небольшого чипа, который был разработан для обеспечения доступности, и запись в, а затем, как только питание отключится, оно сохранит все, что вы записали в этот чип, в качестве постоянного хранилища. Это было медленно, это было неуклюже, и в те дни, я думаю, это было в 1980–1981 гг. К 1984 году Toshiba, которая, как мне кажется, изобрела эту технологию, сделала ее коммерческой, которую мы могли использовать.
Но вскоре люди поняли, что могут на самом деле взять комбинацию компонентов, которые использовались для создания этой концепции EEPROM, памяти только для чтения, после того как она была стерта и записана в нее, и они действительно могли писать в нее на регулярной основе, и использовать его немного больше, как дисковое пространство, и немного больше, как ОЗУ. Со временем это развивалось. Теперь эта технология флэш-памяти стала слиянием между традиционным дисковым хранилищем, будь то вращающийся диск или, в некоторых случаях, гибридный диск памяти и ОЗУ. И ключевым моментом является система между ними, потому что вы можете читать и писать в нее, а затем выключать питание, и оно сохранит то, что вы написали в него. Таким образом, дисковое пространство, очевидно, вы записываете на него, выключаете питание, и вращающийся шпиндель и сильно модифицированный, из-за отсутствия лучшего описания, сохраняют нули и те, которые вы записали в него.
В области памяти с произвольным доступом вы записываете что-то в память в ОЗУ, выключаете компьютер, и все стирается, потому что больше нет электронов, чтобы держать его заряженным и хранить записанную вами информацию. Плюс он посередине и очень быстрый, быстрее диска, чуть медленнее, чем RAM. Но вы можете писать в него и читать из него, и когда вы выключите питание, оно сохранится. Это привело к появлению некоторых удивительных технологий, в частности, мы разработали мобильные, портативные устройства, которые действительно, очень быстрые и способны на многое, и теперь они перенесены в инфраструктуру для хранения данных и вычислений, и это привело к значительным изменения в том, что мы можем доставить в масштабе. Это как раз то, где я считаю, что ось Z в моем разуме возникает сейчас.
Во многом это почти вовремя, потому что сейчас мы наблюдаем срыв из-за того, что я называю спросом, а именно, что потребители имеют, независимо от того, что происходит в инфраструктуре и технологическом пространстве, и способность двигаться быстрее и более быстрые вычисления и производительность на уровне инфраструктуры, потребители требуют этого нарушения в виде того, что сейчас называют, опыт знаменитости. Каждый хочет, чтобы каждая система, каждое приложение, каждый веб-сайт знали, кто они и что им нравится, и могли бы дать им индивидуальный опыт один на один. Уже недостаточно просто заходить на сайт, где я покупаю билеты в кино. Я хочу, чтобы он знал, что я купил раньше, почему я его купил и, возможно, что люди, такие как я, покупали и рекомендовали вещи.
Неизменно, мы видим то, что я имею в виду, это побочный порядок общения, и это то, что я хочу получить опыт знаменитостей, но я также хочу поделиться этой идеей, я хочу поделиться ею со всеми моими друзьями и рассказать им, что я Я делаю, и я также хочу знать, что делают мои друзья. И это результат взрывного спроса на дополнительные вычисления и хранение, а также быстрого изменения ситуации. Мы видели поколение Fitbit, которое я называю постоянным отслеживанием. Все, что я делаю, отслеживается, регистрируется и захватывается где-то. Мы видели все в режиме реального времени: банковские операции, торги, механизмы рекомендаций, необходимость справляться с вещами в реальном времени, которые я лично делаю как потребитель.
И тогда мы видим очень большое влияние, например, риски безопасности вокруг кибербезопасности. Раньше у нас были отдельные хакеры, потом к ним применялись криминальные банды, теперь у нас целые страны воюют из-за интернета, что реально и происходит на самом деле. Обратите внимание на это, сядьте и взгляните на это, потому что это реально повлияло на нас, и некоторые из наших предстартовых шуток были посвящены обсуждению риска проникновения вашего собственного компьютера или, по крайней мере, вашей сети.
Мы видели эту концепцию извлечения сущностей. Извлечение сущностей - это когда нам нужно найти вещи, представляющие интерес, в очень больших наборах данных, особенно в отношении мошенничества, нелегальной и хакерской деятельности. Но чаще всего мы увидим, что извлечение сущностей становится центром внимания для хороших вещей и вещей, которые представляют для нас ценность, в отличие от поиска вещей, которые нас атакуют.
Мы также видели взрыв, который называют геопространственными данными. Это данные, которые на самом деле знают, откуда они берутся или откуда взяты другие данные. Вы можете себе представить, что стоите на улице и хотите найти ближайшую парковочную станцию или ближайший ресторан, приложения, которые могут применять геопространственные вычисления и данные, вычисляя данные, которые знают, где они находятся в пространстве, очень важно, потому что вам нужно знать, где находятся другие объекты и объекты, и делать это быстро.
Мы видели постоянно подключенный мобильный телефон. Даже когда мы ложимся спать по ночам, наши мобильные телефоны все еще тикают, обновляют наши электронные письма, проверяют наши календари, смотрят, какая погода и выясняют, будет ли то, что мы хотели бы на завтрак, быть доступным. Там много шума, и это сильно повлияло на то, что нам нужно делать на бэк-энде, и на скорость, с которой мы это делаем.
В целом, масштаб и влияние того, что называют Интернетом вещей, или, чаще всего, связью между компьютерами, когда устройства общаются с устройствами, и это вплоть до двигателей, привязанных к сторона самолетов, сообщающая самому самолету или системе управления самолетом, что подшипник на двигателе номер четыре испытывает чрезмерный износ и нагрев, и его следует заменить, когда мы приземляемся, а затем он сообщается с другой машиной, и поэтому он должен разместить порядок, и волшебным образом инженер появляется на рейс в аэропорту и готов заменить его во время заправки.
И масштаб, который настолько велик и настолько велик, что нам пришлось вдаваться в то, что я имею в виду, через доступ, чтобы справиться с этим. Потому что новый мир и добро пожаловать в новый мир, новый мир всего, что мы используем, будучи связанным; Когда-то это были спутники и сетевые устройства, теперь это мобильные устройства, наши ноутбуки, планшеты и телефоны, и даже у моей новой Audi есть встроенный знак, и она постоянно сообщает о своем здоровье, но также обновляется, и знает, где это, и какие карты применимы, и даже говорит мне, когда идти другим путем, если на дороге впереди движение.
Все, что мы строим сейчас, все, что мы с вами сейчас говорим, предназначено для соединения и соединения с другими вещами, не только от меня к системе, но от системы к системе, и чтобы мы могли справиться с этим, мы нам приходится применять совершенно другое мышление на уровне инфраструктуры, как на аппаратном, так и на программном уровне, и в частности на уровнях базы данных, которые системы должны подкреплять, и во многих отношениях база данных стала двигателем, а приложения действительно просто маленькие боты, которые делают вещи.
Я собираюсь вкратце изложить здесь немного юмористический взгляд на то, куда мы идем с этими вещами, и на то, что я называю «IoT нажатием кнопки». Был создан новый гаджет под названием Amazon Dash Button, и это маленький гаджет размером с большой палец. На самом деле во многих отношениях он такой же, как мой USB-накопитель. Когда вы покупаете эту вещь, она будет стоить около 4, 99 долларов США через Интернет от Amazon, она доставляется вам, вы настраиваете ее с помощью своего мобильного телефона и буквально просто подключаете ее к одному из ваших устройств, например, к холодильнику, стиральной машине и т. Д. В вашем примере стиральной машины, если в конце концов у вас кончится стиральный порошок, вы можете нажать эту кнопку, и он позвонит домой и автоматически закажет вам больше, и волшебным образом вам будет доставлено через наших хороших друзей в Amazon.
Для меня это пугает меня, потому что он увидит взрыв множества вещей, которые подключены к сети, и попытается создать связь и сформировать спрос. Если вы можете себе представить, одна или две из этих вещей, возможно, не так страшны, но в прошлый раз, когда я смотрел, было более 110 таких брендов, так что почти каждый бренд на планете попытается получить свой собственный небольшой толчок. Кнопка IoT, что вы идете домой и нажимаете кнопку, и она говорит: «Закажите мне пиццу». Вы нажимаете другую кнопку, и она заказывает готовый обед для ваших детей в школу завтра.
Это приводит к такому огромному спросу на преобразование на внутреннем уровне, на уровне приложений, в частности на уровне баз данных, что, я думаю, мы только что увидели верхушку айсберга того типа преобразования производительности, который нам нужен., И с этим я передам это доктору Робину Блуру и узнаю, как мы находимся.
Ребекка Джозвиак: Хорошо, Робин, я передал тебе мяч.
Робин Блур: Разве это не хорошо? Ладно, поехали, это я. Я видел презентацию Деза до того, как подошел к этому, поэтому я бы сказал, что это было скорее приветственным, чем просто повторял некоторые слова, сказанные Дезом. Я думал, что буду говорить об эволюции баз данных с точки зрения того, что на самом деле произошло с архитектурой, и так далее, и так далее, с базами данных с исторической точки зрения.
Основная проблема, с которой сталкивается любой поставщик баз данных, заключается в поддержании гибкой архитектуры, которая масштабируется и идет в ногу с развитием оборудования. Я поговорю об этом, но когда вы на самом деле оглянетесь назад и увидите, как раньше создавались базы данных и как они создаются сейчас, они на самом деле значительно отличаются от того, что я бы назвал уровнем архитектурного проектирования., Стоит просто рассмотреть, почему это так, или, по крайней мере, я так думаю. Аппаратные факторы, и Дез дал нам особенно хорошее изложение нижних уровней с точки зрения памяти и диска. То, что у нас есть сейчас, и это грядущее будущее, следующим будет Intel, CP, у которого на нем будет FPGA. Что люди будут делать с этим, я понятия не имею. AMD объединяет процессоры и графические процессоры, и какая разница? Это те изменения, которые на самом деле будут иметь значение для базы данных, и я подозреваю, что Aerospike среди других, потому что Aerospike руководствуется производительностью, он, вероятно, уже смотрит на это и решает, где он думает, что на самом деле собирается пойти с тем, как продукт работает.
У нас есть система на чипе, которая еще не взлетела. Мы знаем о твердотельных накопителях, но суть в том, что они на самом деле увеличиваются в скорости, примерно по закону Мура, в 10 раз каждые шесть лет. Но Intel собирается выпустить 3D-точку пересечения, которая утверждает, что она может работать более чем в сто раз быстрее, чем твердотельные накопители, фактически, что-то вроде этого, и это изменит скорость, с которой такие продукты, как Aerospike, могут на самом деле идти.
Тогда у нас есть параллельные аппаратные архитектуры, другими словами, способ, которым мы сконструировали аппаратное обеспечение в том смысле, что изначально он был просто процессором, расположенным над памятью, который располагался над диском, но это стало намного сложнее, чем это. Идея системы в микросхеме заключается в том, что на самом деле вы можете использовать микросхему параллелизма в микросхеме и делать все с невероятной скоростью, и мы не знаем точно, какой из этих продуктов будет доминировать.
Это всего лишь взгляд в будущее, но на уровне аппаратного обеспечения производительность ускоряется, а затраты продолжают падать, как описано Dez. Ваши процессоры не обязательно становятся дешевле, они просто становятся быстрее и так далее.
С точки зрения бизнеса, в некоторых ситуациях, и это рыночные ситуации, на первом месте стоит бизнес. Если вы особенно - если вы абсолютно уверены, что конкретная акция упадет в цене, то первая, кто получит ордер на продажу, получит лучшую цену. Это действительно так просто. Таким образом, существует технологическая гонка, которая переходит к автоматической торговле в банках, чтобы на самом деле попытаться победить в таких ситуациях. Что случилось после этого? Что происходит после того, как банки со всем этим справились? Вы внезапно начинаете видеть, что другие области заражаются такими же потребностями в скорости.
Действительно то, что происходило, это то, что люди были удалены из уравнения, и это произошло с интернет-рекламой очень быстро. Но дело в том, что это не конкретная транзакция, а выполнение методов, это целый бизнес-процесс, это тот факт, что веб-страница была только что скинута, и необходимо принять решение, которое может быть довольно сложным, что касается того, какую рекламу на самом деле разместить на этой веб-странице, исходя из того, кто из пользователей браузера выбрал бы такую рекламу, и тому подобное, и так далее, и тому подобное. Это стало очень сложной вещью, и я упомяну это снова.
Но дело в том, что производительность и масштабируемость бизнес-процессов - это не та же проблема, что производительность и масштабируемость возможностей запросов, и это хорошо известно из-за недавнего брифинга, который мы провели с Aerospike. тоже в курсе. Другое дело, когда вы на самом деле работаете на этих скоростях, свойства активов важны для транзакции, любой обработки событий. Они действительно, действительно имеют значение. Так что очень многое из того, что делают некоторые базы данных, а именно потеря буквы или двух из активов, может работать достаточно хорошо в контексте - это будет хорошо работать в контексте, о котором мы говорим. Честно говоря, это не совсем приемлемо.
С технологической точки зрения, вы на самом деле смотрите - я знаю, что есть два вида рычагов, чтобы создать архитектуру, которая действительно необходима для предоставления таких скоростей, как Aerospike, которые могут выполнять миллион транзакций в секунду. Вы должны быть очень точными с точки зрения разработки программного обеспечения. Вы не можете просто взломать. Вы должны быть обеспокоены длиной пути кода. Вам нужно отлично использовать память, и вы фактически оптимизируете целые транзакции. Вам нужен разумный параллелизм, а также надежный параллелизм. Вам нужно увеличивать, а не уменьшать масштаб, потому что, как только вы вовлекаете сеть во что-либо, она становится наиболее вероятным указателем, по которому вы достигнете задержки, и это начнет делать транзакции слишком медленными.
Вы должны получить как можно больше информации о любой известной сети, прежде чем вы на самом деле масштабируете ее, и вы действительно не хотите быстро масштабироваться, вам действительно не нужно много процессов. Вы хотите сеть, которой никто не пользуется. И вы хотите иметь невероятно быструю сеть.
Ускоренное хранение на SSD - это что-то - на самом деле я думаю, что большая часть этого относится к тому, что делает Aerospike Одна из интересных вещей, это база данных NoSQL. Раньше считалось - я не знаю, несколько лет назад - раньше считалось, что реляционная база данных была единственной базой данных, и она доминировала во всем, и это были только эти странные маленькие нишевые ситуации, когда вам не нужно идти в отношения. Это сейчас как бы перевернулось с ног на голову. Это быстрые базы данных, которые находятся в этих базах данных SQL, и одна из причин этого, главная причина этого, состоит в том, что они избегают объединения данных, они хранят данные в значительной степени объектным способом. Когда вы закончили работу с объектом, вы просто сохраняете его, а затем вытягиваете весь объект обратно, это не объединяет вещи, чтобы фактически обработать их. Это то, что скорость. Эти виды методов, которые генерируют скорость в контексте базы данных.
Это след слез, это то, что случилось с базой данных. История или повествование о реляционных базах данных было концом базы данных на самом деле не было правдой. Даже когда они начали доминировать, это было необходимо. Объектные базы данных делали прошлые транзакции в те дни, потому что реляционные базы данных фактически не могли их делать, и затем оказалось, что реляционные базы данных, использующие хранилища строк, также не могут выполнять быстрые запросы, вам нужны хранилища столбцов. И затем мы обнаружили, что, если вы действительно хотите выполнять графические запросы к данным, ни хранилище столбцов, ни реляционная база данных не принесут пользы, и вам действительно нужно было создать специально ориентированную на графы базу данных. Затем появились базы данных RDF, и как только вы начали рассматривать значение семантики, мы получили базы данных NoSQL, очень и очень специально для скорости. Называть их NoSQL почти так же, как если бы вы брендировали все эти базы данных, как если бы они были одинаковыми, на самом деле они радикально отличаются в том, что находится под ними. Единственная причина, по которой они носят имя NoSQL, заключается в том, что им наплевать на SQL, потому что он слишком дорогой. Задержки транзакций, которые им нужны.
IoT - который я думал, что я закончу на той же точке, на которой закончил Дез, - это еще не все, с точки зрения скорости и требований к задержке, это не закончится, пока толстая дама не начнет опровергнуть эти данные, и они еще не начались. Многие из этих данных захотят иметь задержки, которые я как бы указывал, поэтому я думаю, что это все, что я должен сказать. Давайте передадим это Aerospike и Брайану Булковски.
Брайан Балковски: Привет, большое спасибо за то, что присоединились к Bloor Group и мне за сегодняшнюю презентацию. Размышляя о том, о чем только что говорили Дез и Робин, я бы хотел немного рассказать вам о том пути, который Aerospike взял на себя в предоставлении новых технологий баз данных и технологий баз данных NoSQL для ряда отраслей. Это был отличный путь. Мы начали Aerospike в 2008 году, увидев множество тенденций, о которых упоминали Дез и Робин. В частности, о базах данных в памяти, которые могут использовать преимущества флэш-памяти, а также о типе масштабируемых облачных систем и о масштабах, необходимых для персонализации, поведенческого анализа и о том, какие обсуждаемые VIP-события со знаменитостями обсуждались.
Когда мы подошли к проблеме базы данных, которая была внешней операционной базой данных, которая была способна обеспечить основы для приложений, которые могли бы быть написаны для их решения, мы начали с проблемы, как мы могли бы построить по существу распределенную хеш-таблицу, память -распределенная хеш-таблица, которая была удивительно быстрой и способной на такие вещи, как миллионы транзакций в секунду, но по разумной цене. Когда мы закончили наш прототип, мы поняли, что тогда нам придется выяснить, кому может понадобиться такая скорость. Будучи компанией из Силиконовой долины, мы быстро обнаружили, что именно рекламная индустрия способна потреблять такую информацию и заинтересована в ней, поэтому я хотел бы потратить секунду на обсуждение ставок в реальном времени и как это маркет работает.
Робин упомянул, как работает финансовый трейдинг, который является первой транзакцией, которая часто является выигрышной, и, по сути, есть время выхода на рынок с задержкой и значение для задержки. Индустрия рекламы немного отличается, интересным способом, потому что цель в рекламе - это особая - то, что называется показом, способностью показывать рекламу - это аукцион, и этот аукцион длится от десяти миллисекунд до пятидесяти миллисекунд. Название игры, и часто сотни компаний делают ставки в режиме реального времени на каждую рекламу, размещаемую в Интернете, - это получение наибольшего объема данных и использование лучших алгоритмов в течение этих десяти-пятидесяти миллисекунд в течение наибольшее количество данных.
Это изменение и сдвиг происходили в рекламной индустрии, и в каждую из этих маленьких миллисекунд возникают ограниченные во времени сложности с лучшими алгоритмами для большого количества данных, и для этого вы собираете множество небольших кусочков. данные. Последние сведения об IP-адресах, последние сведения о конкретной категории устройств, последние сведения о поведении веб-сайта, последние поисковые запросы - все это могло бы стать частью секретного алгоритма конкретной компании, чтобы определить цену и ставку.
Это был захватывающий рынок, чтобы стать частью. Мы впервые провели наше первое развертывание в Aerospike в 2010 году с некоторыми из первых компаний, которые серьезно работали в экономике ставок в реальном времени, а затем достигли, по сути, этого передового хранилища поведенческих данных, для большинства компаний этого Космос. С тех пор мы обнаружили и определенную архитектуру, которую я подробно расскажу в ходе этой презентации, - это то, что происходило в 2010, 2011 и 2013 годах и продолжает развиваться. Реклама - это очень динамичный рынок.
Но такого рода VIP-опыт вы можете представить как правильное объявление, а не объявление, например, о детских товарах, потому что у меня нет детей, поэтому у меня не будет эффективного объявления, если оно на этом, но если речь идет о быстрых машинах, это своего рода реклама для Брайана. Это действительно тот тип VIP-опыта в сделках, будь то скидка или нет, если вы находитесь на розничном сайте, даже при обнаружении мошенничества. Это нормальная картина конкретного человека или конкретной кредитной карты? Вся эта форма технологии аналитики в реальном времени, поведенческого прогнозирования, прогнозирующей аналитики в настоящее время просачивается из рекламной индустрии, которая уже несколько лет занимается этим ради удовольствия и получения прибыли, и действительно приходит в розничную продажу. и банковское дело, и мошенничество, обнаружение и т. д., посредством определенной архитектуры Таким образом, Aerospike был удостоен чести участвовать в ряде таких дел.
Архитектура, которую мы видим работающей и практичной для этого, заключается в том, что вместо создания набора запросов с сервера приложений вместо переноса большей части ваших вычислений на сам сервер приложений, а затем с использованием базы данных в качестве хранилища. двигатель для объектов, о которых говорил Робин. В этом случае эти архитектуры, прежде всего, не путают это с вашей реальной аналитикой здесь. В правой части этого слайда вы видите, что здесь есть аналитика для генерации идей. Это задания, которые часто работают с петабайтами, десятками петабайтов данных, даже эксабайтами, в случае некоторых из наших крупных клиентов, использующих различные технологии. Вам нужна команда больших данных, аналитическая группа, количественная группа, которая должна выяснить, что, скажем, имеют значение геопространственные координаты, какие модели работают с точки зрения нахождения этих отношений и создания опыта VIP. Это целая проблема сама по себе, а не та, в которой Aerospike принимал непосредственное участие, и есть куча отличных технологий, когда вы работаете с такой системой.
Что нас радует и что мы работаем с этой отраслью, так это то, что, как только у вас появятся эти идеи, вы будете участвовать в транзакциях типа «машина-машина» или «быстро-машина-человек», где вы берете эти идеи и делаете они реальны для каждого человека, момент за моментом? В архитектуре, которую мы видели, используется та, где есть сервер приложений, который написан, и он выполняет всю эту математику и просматривает модели, которые вы создали, и рассматривает недавнее поведение и делает это по существу по ключевой парадигме или по крайней мере, очень упрощенная система запросов.
Когда вы имеете дело с типами данных, о которых мы говорим, с типами потоков, о которых мы говорим, с миллионами операций записи в секунду, миллионами операций чтения в секунду, миллионами и сотнями и тысячами решений в во-вторых, построение сложных индексов, многомерных индексов, просто не очень хорошо работает, оно не масштабируется. Способ достижения этой формы масштаба состоит в том, чтобы задействовать много параллелизма. Мы немного поговорим о том, как мы это сделаем позже. Но частью этого является сервер приложений без сохранения состояния, написанный на вашем родном языке.
То, что мы часто видим, это конкретный проект, предполагающий создание новой прикладной среды, основанной на людях, которые там работают, технологиях, которые они используют, и проблеме, к которой они приближаются. Мы видели людей, использующих Python, многие люди используют Java, мы все еще видим программистов на C, потому что во многом это все еще высокая производительность, возможно, даже с использованием таких вещей, как старые библиотеки MATLAB. И им необходимо прикасаться к тысячам и тысячам точек данных в секунду, чтобы принять эффективное решение.
Иногда я задавал один вопрос: «Ну, Брайан, если ты способен на миллионы транзакций в секунду, кому это нужно?». Если вы посмотрите, например, на обработку платежей в Северной Америке, и Aerospike связан с Решения, выполняющие обнаружение мошенничества в этой системе, и поддерживающие авторов приложений, которые занимаются инновационными разработками в области обнаружения мошенничества, позволяют обрабатывать всего несколько тысяч платежных транзакций в секунду даже через самый большой из платежных процессоров. И все же, когда первая компания пришла к нам и сказала, что они смотрят на использование NoSQL, и хотели посмотреть, как наше решение будет выглядеть в основе их приложения, они сказали, что хотят коснуться 5000 фрагментов данных в окне 750 миллисекунд. Ну, теперь вдруг у вас есть несколько сотен бизнес-транзакций и несколько тысяч фрагментов данных для рассмотрения в каждом вычислении, и теперь вы находитесь в области необходимости миллионов транзакций в секунду.
Случай - отложить в сторону рекламу на секунду, случай мошенничества увлекателен, потому что там, где есть деньги, есть мошенничество и предотвращение мошенничества в реальном времени, в отличие от попытки разобраться аналитически после того, как произошло мошенничество, действительно вопрос привлечения как можно большего количества данных, и вы можете думать об этом как об отражении этого опыта VIP. Этот человек ведет себя так, как он обычно не ведет себя? И, таким образом, шансы на то, что это мошенническая система, а не этот человек, возрастают. Этот человек обычно получает доступ через определенное устройство или набор устройств с определенным набором разрешений экрана? Они обычно демонстрируют определенную поведенческую модель покупок? Возможно, мы можем пресечь мошенничество в зародыше в ходе самой транзакции. Это должно очень напоминать вам о том, что происходит в транзакции в рекламной системе.
Типы систем, которые мы решаем, это те, в которых у каждого отдельного обработчика платежей есть большая команда данных, у них много исторических данных, они создают новые модели, они не делятся с нами на Aerospike всеми моделями, потому что они действительно секретный соус. Если вы являетесь подписчиком Gartner и слышали, как Gartner рассказывает об экономии алгоритмов, это один алгоритм и одна компания, сражающаяся лицом к лицу, чтобы снизить количество мошенничеств и увеличить количество успешных транзакций, потому что вы также не Я не хочу блокировать транзакции. Именно такие проекты мы ищем в Aerospike на таких масштабных уровнях.
Другой случай, над которым мы работали с компаниями, предоставляющими финансовые услуги, - это внутридневная система записи. В данном случае происходит то, что богатый опыт, даже в системе розничной торговли, - это тот случай, когда я хочу иметь возможность взглянуть на свою конкретную позицию и хочу сделать это очень точно. Я не хочу, чтобы уловка была перед моей системой DB2. Вместо этого я хочу взглянуть на точные данные и между мобильными устройствами, а также такими вещами, как перерасчет риска, перерасчет риска теперь должен выполняться ежеминутно, вы хотите иметь возможность пересчитать риск каждого, а также глобальный риск, системный риск по всей компании в течение нескольких минут.
И опять же, это та же проблема. Каждую отдельную учетную запись, которая является конкретной, следует рассматривать как поиск значения ключа для конкретного объекта, тогда это можно сделать параллельно, и, что наиболее важно, эта парадигма позволяет вам писать свой код и ваши алгоритмы на языке высокого уровня, который легче отлаживать и быстрее выходить на рынок. В этой экономике алгоритмов, я должен быть в состоянии получить мои алгоритмы онлайн сейчас. Это совсем другая проблема для моделирования и деловых отношений, в этом и хороши реляционные системы. Если у вас есть таблица деталей, и эти детали связаны с заказами, а эти заказы связаны с людьми, у вас есть бизнес-процесс, который можно строго смоделировать и, вероятно, не изменится в течение всей жизни вашего бизнеса. Тем не менее, новый алгоритм поиска новой схемы мошенничества должен быть написан точно и быстро, и должен быть доступен в Интернете, принимая деловые решения в течение как минимум нескольких дней, если не быстрее. Решение NoSQL для такого рода системы записи - действительно удивительная система для этих ребят, потому что она позволяет им очень быстро получать данные, а также создавать новые алгоритмы, а не просто новый пользовательский опыт в работе с мобильными устройствами, но действительно создание широкого спектра новых приложений.
Что мы видим в долгосрочной перспективе в Aerospike, так это тот факт, что каждый тип базы данных, каждая физическая структура данных на диске имеет свои собственные компоненты, и в Aerospike мы действительно сосредоточены на этой ключевой системе ценностей или ролевой системе, как сказал Робин. с высокой транзакционной согласованностью и действительно позволяют людям, таким как хранилища столбцов и большие объемы данных, а также жестким транзакционным системам, которые также имеют ограничения на создание отчетов. Мы видим, что все они нуждаются в различных механизмах запросов. Мы видим некоторые из механизмов запросов на основе JSON. Мы видим такие вещи, как упругий поиск, мы видим Spark, все нуждающиеся в разных вариантах в разное время, например, в хранилищах столбцов, а также в хранилищах строк, в которых Aerospike превосходит другие.
Мы действительно видим, что эти различные типы и индустрия достигают точки, когда выбор лучшей породы каждого из них будет необходимостью. К сожалению, из-за реальности долгосрочной аналитики и пакетных заданий, а также из-за операционных ограничений, мы, вероятно, не дойдем до того, чтобы иметь один, один размер для всех, но мы дойдем до того, чтобы иметь возможность четко выбирать между некоторыми из основных макетов данных.
Давайте немного поговорим об инновациях flash. Я все еще получаю вопрос, хотя, как было отмечено ранее, Flash уже давно с нами. Когда мы запустили Aerospike в 2009 году, в 2009 году, может быть, да, в 2009 году Intel выпустила X25, который был действительно первым SATA флэш-накопителем для массового рынка, и до этого было несколько систем флэш-памяти., но на самом деле это было то, что ворвалось в технологическое сознание. Fusion-io действительно принес вспышку на более широкий корпоративный рынок после этого.
То, что происходит сейчас, - это появление системы под названием NVMe. NVMe - это стандарт, аналогичный SATA, SAS или даже SCSI, который позволяет различным поставщикам карт взаимодействовать с драйверами в операционной системе с высоким уровнем эффективности. Таким образом, он создает более высокий уровень производительности, прежде всего потому, что NVMe основан на PCIE в качестве базового транспорта, который намного быстрее, чем SATA, SAS или что-то еще, но также он допускает лучшие в своем классе драйверы.
Например, в Linux есть этот парень, Дженс, а Дженс - руководство по драйверам NVMe, Jens expo, и он делает лучшую работу, чем кто-либо из Intel или Fusion-io мог бы сделать со своим индивидуальным драйвером со всеми их ресурсами. Когда у вас есть возможности самой операционной системы, способной создать лучший драйвер, мы видим действительно потрясающий уровень производительности. Все это подтверждает идею о том, что флэш-память действительно может обеспечить большую задержку оперативной памяти.
Теперь Aerospike по-прежнему является отличной базой данных ОЗУ благодаря своей кластерной модели, однако мы обнаруживаем, что, как только вы выполняете сетевой скачок, для которого требуется масштабируемое хранилище, вы уже тратите не менее пяти - 50 микросекунд, дополнительные 70 микросекунд NAND обычно не являются препятствием, и вы могли бы также использовать флэш-память, учитывая, что NAND-флэш-память, учитывая, что сеть уже вовлечена в это. Многие люди потом задаются вопросом о том, как все это звучит замечательно, если вы покупаете собственное оборудование, как поживают публичные облака? Я думаю, вы найдете прямо сейчас, независимо от того, какое публичное облако вы используете, у этих публичных облаков есть очень сильные предложения флэш-памяти. От облачного провайдера он немного отличается. У Amazon есть свои экземпляры I2, которые, я думаю, год, два года назад, представляют собой действительно довольно качественные флэш-устройства, и Aerospike имеет модель развертывания поверх них.
Я хотел бы упомянуть Google Compute, Google Compute Engine, Google Cloud, в частности, потому что, по нашему опыту, они до сих пор имеют одни из самых высокопроизводительных устройств и одни из самых гибких в плане шаблонов развертывания. Но вы также видите новые шаблоны развертывания, такие как Pivotal, который является своего рода общедоступным / закрытым, поэтому вы можете правильно использовать приложения Pivotal, которые поддерживают Flash и поддерживают различные устройства хранения, а также шаблоны Docker. На самом деле, это исторический момент, когда флэш-память не только доступна для покупки и размещения в ваших центрах обработки данных, но она действительно просочилась во всех поставщиков инфраструктуры, потому что это действительно лучший способ получить системы с высоким IOPS в очень разумная задержка.
Еще один момент об Aerospike - Aerospike - это кластерная распределенная база данных, что делает ее очень удобной для развертывания в облачном стиле, а также для центров обработки данных. Мы находим, что гибкость возможности добавления большего количества данных и большей производительности абсолютно необходима в таких новых сетевых приложениях, потому что, когда вы начинаете проект, вы не знаете, нужно ли вам пятьдесят тысяч транзакций в секунду, сто тысяч, миллион, два миллиона, так что вы хотите дать себе возможность добавлять серверы. И все же, вы хотите увеличить масштаб, чтобы каждый сервер мог работать быстро сам по себе. Вы не хотите в конечном итоге получить пятьсот или тысячу серверов, которые являются серверами баз данных, которые работают медленно. Масштабирование - не единственная игра в городе, ее масштабирование и масштабирование, как говорил Дез ранее, есть новая ось Z.
Надеемся, что это даст вам новые идеи о том, как скорость и масштабирование учитывают новые рынки, и, возможно, есть проекты, над которыми вы работаете, в которых вы сможете рассмотреть возможность создания действительно более богатых приложений и использования инфраструктуры приложений с большим количеством ключей. значение или база данных NoSQL под ним. В Aerospike я, конечно, видел много наших клиентов, и многие наши пользователи с открытым исходным кодом преуспели в этом паттерне, и я с нетерпением жду, чтобы индустрия приняла его в большей степени.
Ребекка Джозвиак: Большое спасибо, Брайан, и я уверен, что у Деза и Робина есть несколько хороших вопросов для вас. Робин?
Дез Бланчфилд: Я рад заскочить . Робин, у тебя есть вопрос? В противном случае у меня есть быстрый, я могу начать.
Робин Блур: Извините, я был отключен. Я нырнул, но никто меня не слышал. Вопрос сразу возник у меня, потому что это очень сложный набор технологических возможностей. С точки зрения имеющихся у вас клиентов, какой тип эскалации или скорости транзакций вы испытываете в отношении некоторых из этих рекламных приложений? Продолжается ли рост транзакций? И если да, то по какому тарифу?
Брайан Булковски: Интересный вопрос, Робин. Каждая отрасль имеет свою кривую в каждой компании. Давайте возьмем североамериканскую рекламу, скажем, в 2012 году реклама в Северной Америке работала, вероятно, ближе к 200 000 объявлений в секунду, в обычном внутридневном режиме, а не в мое время, и теперь она возросла, вероятно, до трех-пяти миллионов объявлений в секунду. Но затем произошла интересная вещь. Рекламная индустрия начала решать некоторые проблемы с мошенничеством, и в некоторых из наших более искушенных клиентов, которым удалось определить мошенничество, в некоторых из наших более искушенных клиентов, которые смогли определить уровень мошенничества, в некоторых отраслях, способных блокировать мошенничество, скорость транзакций несколько снизилась. Конечно, они должны были выполнить некоторые поиски в базе данных, чтобы заблокировать мошенничество, так что в конечном итоге это было примерно так же.
Интересный случай использования в телекоммуникациях, я действительно не упомянул, что в телекоммуникациях наблюдалось увеличение транзакций из-за выставления счетов за каждый пакет, проходящий через сеть сотовой связи. В старые времена у нас были подробные записи о звонках и раз в минуту, звонок, ну, знаете, маленький пинг проходил бы по сети, и у этого парня еще оставалась минута? Теперь нам нужно строить и даже маршрутизировать на основе каждого пакета в интернете. Это … извините в мобильной сети, которая внезапно переходит в миллионы пакетов в секунду и что-то, что растет снова и снова. Таким образом, один случай - каждое приложение приводит к небольшому увеличению в 2 раза в год. У некоторых клиентов мы видим: «Но подождите, у меня есть новое приложение. Я хочу добавить немного мошенничества к своему риску. Я хочу добавить более глубокое восприятие клиентов к моему мошенничеству и моему риску ». Каждый из них создает новую нагрузку на базовую базу данных.
Робин Блур: Да, я имею в виду, я думаю, это было то, на что я намекал в краткой презентации, которую я дал, что это - мы привыкли думать, что транзакция есть, кто-то что-то делает, и, возможно, есть каскад событий, и все это записывается, и теперь многие транзакции имеют огромное количество поиска, и вы привели несколько примеров в презентации. И поэтому вы на самом деле больше не выполняете транзакцию, вы фактически выполняете приложение, в котором может быть много-много элементов.
Другой вопрос, прежде чем я передам слово Дезу - потому что мы, очевидно, объединяем усилия в этом вопросе, - другой вопрос, на который я хотел бы, чтобы вы ответили, если у вас есть разумный ответ, - это и Дез, и я ожидаю, что Интернет Вещи, или Интернет всего, как его иногда называют, создают довольно значительный объем транзакционного трафика. Вы можете говорить с этим? Это ваш опыт, есть ли у вас клиенты, приходящие к вам с такой специфической проблемой, и что вы думаете об этом в данный момент?
Брайан Балковски: Конечно, я думаю, что есть небольшая путаница, и это, мягко говоря, об Интернете вещей. Клиенты, которых я вижу до сих пор, просто доводят интернет до того, что у них есть. Подумайте об этих кнопках Amazon - это все Amazon - эти кнопки, их нельзя переназначить и заставить их перейти в Walmart онлайн. Это не похоже на браузер, который вы можете смешивать и сочетать все. С другой стороны, между машинами происходит, и когда вы подключаете свой автомобиль Tesla для зарядки, Tesla отправляет огромный обратный поток информации, каждый датчик в автомобиль, но он поступает в компьютер Tesla для анализа и улучшения. качество. То, что я вижу, - это все от машины к машине и все датчики в отдельной компании, создающие новые требования.
Сейчас, в основном, сегодня, это течет в эти аналитические системы, и возьмем случай Теслы; Насколько я понимаю, первым делом Тесла использовал это для увеличения времени автономной работы: «Какие рабочие температуры, какие нагрузки? Давайте посмотрим на это, давайте создадим лучшую батарею ». Но потом они начинают думать, и это все здорово, это своего рода захватывающая проблема глубокой аналитики, следующий вопрос:« Как я могу улучшить моментальный опыт? ?»
Теперь давайте возьмем случай, подобный Nest, где вы пытаетесь сделать прогнозную аналитику, чтобы мгновенно менять температуру дома. Это тот случай, когда мы начинаем видеть в Aerospike, где есть огромное озеро данных и огромные аналитические процессы, но что мне теперь делать? Мне нужно сохранить, думать об этом, как о деньгах, о какой-то части прошлой недели, последнего месяца, может быть, даже просто информации за последний день, вероятно, на заднем плане, потому что мы имеем дело с простым датчиком устройства, и я собираюсь сделать набор аналитики в этот момент за моментом, чтобы изменить опыт. Такого рода Nest-подобные опыты, для которых я вижу варианты использования Aerospike.
Робин Блур: Хорошо, я ожидал от Интернета вещей того, что вы начнете получать пороговые триггеры и они начнут создавать каскады событий. Вы видели что-нибудь подобное или это еще не то, что вы видели?
Брайан Булковски: Мы с Дезом - я просто спрашивал мнение Деза об этом, когда мы болтали перед шоу. То, что я еще не видел, это своего рода каскад передачи данных одной компании в другую компанию, когда мой холодильник Samsung разговаривает с моей стиральной машиной LG, потому что он только что обнаружил, что я пролил целую кучу шоколада по всему полу, поэтому Такая компания компания устройство за устройством, я думаю, я все еще жду этого с точки зрения Интернета вещей. Я думаю, что есть некоторые проблемы в бизнесе и безопасности, которые в основном не технические, на которые нужно ответить, чтобы увидеть это.
Робин Блур: Хорошо, Дез?
Дез Бланчфилд: У меня есть очень сильные взгляды на этот последний момент, который я кратко изложу в разговоре. Я думаю, что бизнес и технологии часто думают, что на самом деле они движут туда, откуда приходит спрос, но когда мы смотрим на то, что произошло, когда iPhone стал чем-то, и, на мой взгляд, это было своего рода первое мобильное устройство, если вы простите каламбур, но устройство, которое можно носить с собой, способно запускать множество маленьких приложений в вашем кармане, и это привело к значительному изменению того, что мы думаем о том, чтобы стать компьютером. Многие люди думают об iPhone или смартфоне или Android-телефоне как о телефоне, но это не так, на самом деле это всего лишь маленький компьютер, на котором запускаются приложения, и одно из приложений, которое он запускает, выполняет вызовы, и они не звонки, о которых мы думаем больше, это не аналоговые двухточечные звонки, как подчеркнул Брайан, это маленькие пакеты, которые маршрутизируются.
Но чаще всего мы видели, что это восстание смартфонов, которые на самом деле не используются для совершения звонков, что с вероятностью 98% того, что я делаю на своем смартфоне, не совершает звонки. Это все, кроме звонков, это приложения. Я думаю, что это каскадный эффект - и я стремлюсь быстро поставить этот вопрос - но каскадный эффект на самом деле вызывается потребителями, и на самом деле у меня есть один лайнер, который я выбрасываю довольно часто, чтобы получить кучу CXO сидя в комнате и обращая внимание, если я думаю, что они засыпают с презентацией, которую я делаю, что, надеюсь, случается не так часто.
Я как бы сказал, что сбои, которые вы наблюдаете в своем бизнесе, на самом деле связаны не только с технологиями, но чаще с вашими клиентами. И они вроде сидят и на самом деле задаются вопросом, что он там имел в виду? Поэтому, когда я думаю об использовании технологии, я имею в виду, что мы видели USENET, мы видели все эти забавные вещи, происходящие в Интернете, но не многие люди предсказывали социальную значимость и влияние этого. Каждый хочет рассказать всем, что у них было на завтрак, и шум, который он создал, и технологию бэкэнда, которую мы имели, а затем, конечно, реклама пытается наполнить его вещами.
Я думаю, что мы увидим каскадный эффект до точки, когда устройства общаются с устройствами, потребители просто догоняют, что это на самом деле означает, и что это может сделать. Вы затронули интересный вопрос о том, почему кнопка Amazon не будет общаться с Walmart. Я собираюсь опубликовать этот вопрос, что произойдет, когда Walmart получит свою собственную кнопку, а затем что, если у двадцати лучших амазонок и Walmarts и других крупных дистрибьюторских и розничных сетей появятся свои собственные кнопки? Куда это нас приведет? В частности, мой вопрос с Брайаном будет таким: «Куда мы идем с этой совершенно новой парадигмой производительности? Вы находитесь на переднем крае, и вы работаете с компаниями, которые делают это как на уровне физической инфраструктуры, так и на уровне передачи данных. Куда это нас приведет, когда придет следующая большая волна? Какого рода понимание вы можете поделиться этим с тем, что происходит на бэкэнде из вашего опыта? »
Брайан Балковски: Конечно, я думаю о многих из этих вещей, чтобы сосредоточиться на пользовательском опыте и именно на том, что вы сказали, это движущие пользователи, хотя, как технологи и как бизнесмены, мы могли бы придумать умная идея, которая, по нашему мнению, нравится пользователям, и я вернусь к примеру с Nest. Когда моя сестра установила Гнездо в своем доме, она сказала: «Мой дом тише, я слышу вещи. Дело даже не в том, что я плачу меньше за электроэнергию », - говорит она, но теперь вы не могли бы вырвать это Гнездо из ее рук, потому что ей нравится быть в более тихом доме, а не в том, где дует отопление с максимальной скоростью. и затем выключается.
В конечном итоге возникает вопрос: какие пользовательские возможности мы можем расширить? В конечном итоге, это качество жизни, что если бы у нас были деньги и мы были в первом мире, мы бы много заплатили. Я приведу пример из собственного дома, моя девушка любит холодное молоко. Она любит очень холодное молоко, и поэтому нам часто приходится пытаться выяснить, где в холодильнике будет достаточно холодно, и чтобы остальное не перегревалось. Что ж, это здорово - и я сказал моей девушке: «Вы бы заплатили 10 долларов в месяц за холодное молоко, а не замораживание мясных нарезок?» Она сказала: «Абсолютно». И получала 10 долларов в месяц от любого потребителя. это сложно.
Я думаю, что в этом опыте нам действительно нужно следить за тем, что на самом деле может быть ориентировано на конечного потребителя. Я думаю, что это было частью секрета iPhone. Я думаю, что это часть секрета того, как Тесла строит лучшую машину со всеми данными, упраздняет идею о цикле выпуска продукции и ежегодном выпуске и постоянно совершенствует каждую деталь. Нам нужно будет придумать некоторые умные идеи о том, как на самом деле использовать все эти данные таким образом, чтобы момент за моментом убедительно влиять на жизнь людей.
Дез Бланчфилд: Да, это отличное понимание. Исходя из этого, другой конец спектра, который точно соответствует тем вещам, которые мы наблюдаем сейчас, с тем, что просят потребители, и у всех нас есть что-то в доме, кому холодно и тепло этого. Другой конец спектра - тогда, и мы видели это в традиционном «мире больших данных», где назначения данных становятся реже, чем у куриных зубов, а те, что на рынке, предлагаются больше, чем ИТ-директора зарабатывают. в некоторых случаях типы компаний, с которыми вы работаете, и типы разработок, которые вы видели, это тот случай, когда типы разработчиков и типы архитекторов данных и сетевых специалистов становятся все труднее и труднее найти ? Нужны ли нам организации, чтобы начать думать о том, чтобы опередить кривую того типа набора навыков, который им нужен на заднем плане для типа разработчиков и архитекторов данных? Что вы видите на этом уровне с точки зрения ресурсов навыков, которые они поймут, как теперь эффективно использовать эту технологию?
Брайан Булковски: Да, я думаю, что это одна из проблем, с которыми сталкиваются организации, с которыми я разговаривал. Будь то худшие проблемы, о которых я слышал, это на самом деле крупные предприятия, потому что если вы скажете: «Я из этого большого банка, я из Чейза и я был архитектором данных», то вы у нас в мире твоя устрица, и твоя зарплата идет вверх, так что есть проблема с оттоком в поиске работы в одном из этих мест, потому что там не хватает людей, а затем возможность просто переходить с работы на работу. Я не слышу ничего, кроме такого рода проблем, и это на самом деле одна из причин, почему я сосредоточил Aerospike вокруг использования инструментов, подходящих для конкретной проектной команды.
Вместо того, чтобы пытаться войти в проектную команду и сказать: «Эй, ты должен использовать наш язык запросов». Посмотрите, если эти ребята, они сегодня ездят на автобусе, ребята и девочки, и если они используют определенный язык запросов и инструменты, они будут придерживаться этого, и я не могу убедить их в чем-то еще. Моя цель состоит в том, чтобы иметь возможность использовать мощь Aerospike в качестве базы данных вне зависимости от используемых ими инструментов, и это является частью этой идеи, слайдов, которые вы видите о будущем базы данных Poliglot. Мне нужно поддерживать шаблоны применения и аналитики между этими парнями, потому что действительно трудно найти людей, которые имеют математическое образование и статистические возможности, чтобы ориентироваться в этом мире.
Дез Бланчфилд: Еще одна интересная вещь, о которой люди могут не знать, я имею в виду, что Aerospike - очень сильный игрок в мире открытого исходного кода, я стремлюсь очень быстро понять, что это означает, насколько бизнес работает и что он делает для вас. Вы упомянули, что работали напрямую с людьми, которые делают вещи вплоть до уровня ядра внутри, то есть ядра Linux. Есть некоторые крупные игроки, которые находятся в этом пространстве, и есть некоторые известные бренды, которые мы не будем упоминать, но такая организация, как Aerospike, в вашей более современной новейшей истории, опыт с открытым исходным кодом, как это вписывается в общую картину и какие конкурентные преимущества вы видели, которые дают вам?
Брайан Балковски: Конечно, когда мы перешли на открытый исходный код в 2014 году, мы сделали это, потому что мы поняли, что основная инфраструктура, например база данных, должна быть доступной, ей нужно доверять и естественному противовесу между старым миром закрытых источник, и, как только вы инвестируете в конкретную базу данных, эти ребята делают вам ставку на технологический цикл после технологического цикла, и должен быть баланс. Нам нужно иметь возможность выпускать версии, которые делают новые вещи, и, возможно, это в корпоративной версии, нам нужна модель с двумя лицензиями, которая имеет версию с открытым исходным кодом для людей, которые бьют по шинам и выполняют некоммерческую работу., а также корпоративная версия, которая является собственностью лицензии и допускает неограниченную работу.
И, конечно, мы также будем иметь самые высокие уровни скорости и масштабирования, будучи версией для предприятий. Мы верим в модель дуэльных лицензий, и это отлично подходит для нашего бизнеса. Мы хотим, чтобы люди начали работать с Aerospike, мы хотим, чтобы небольшие проекты развалились, очень просто пойти в Amazon, запустить скрипт подтверждения и запустить кластер Aerospike в течение пяти минут. С другой стороны, мы хотим дать больше корпоративным клиентам.
Дез Бланчфилд: Мы как бы приближаемся к вершине часа, поэтому я собираюсь вернуться к Ребекке через мгновение, но если бы там был только один лайнер, который вы бы там выбросили, своего рода совет Вы бы дали людям, которые хотят проникнуть в сферу технологий, которые вы принесли на рынок, и как они собираются их применять, что бы вы сказали, что первый шаг для них - это как минимум опустить их и начать смотреть на то, как они собираются получить конкурентное преимущество от вашей платформы?
Брайан Булковски: Конечно, часть сообщения здесь заключается в том, что есть уровни скорости и мастерства, которые теперь легки. Вам не нужен кластер Cassandra с тысячью узлами для выполнения миллионов транзакций в секунду. Вы можете сделать это даже на первых этапах вашего проекта. Так что все намного проще, чем раньше. Тогда второй совет - вам придётся придумать, как вы говорите, математические модели взаимодействия с бизнес-процессами, которые используют все эти данные, поэтому хорошая новость в том, что данные доступны, Плохая новость заключается в том, что вам действительно нужно найти некоторые шаблоны и несколько убедительных вариантов использования.
Дез Бланчфилд: Да, отличный совет, так что я сейчас вернусь к Ребекке. Большое вам спасибо за это, это был отличный маленький разговор о технологиях, я ценю это.
Ребекка Йозвиак: Спасибо, Дез. У меня есть пара хороших вопросов из зала. Позвольте мне выбросить этот слайд. Я знаю, что вы говорили о системе записей и мэйнфреймов, но как часто вы видите абсолютную разгрузку или репликация - это примирение на конец дня, вроде того, что вы видите больше?
Брайан Балковски: То, что мы видим в Aerospike, - это использование базы данных NoSQL перед этой системой выверки на конец дня. Вам нужен внутридневный правильный ответ. У вас не может быть неправильного ответа, и это то, что Робин сказал об активе, недооценивают, но бизнес-процессы, связанные с юридическими требованиями примирения, могут быть довольно сложными, и существуют десятилетия технологий и десятилетий юриспруденции и практики примирения. Итак, что мы видим в Aerospike, вы будете делать свои алгоритмы в более горячей базе данных с большим количеством транзакций в секунду. Но по юридическим причинам вам абсолютно необходима система примирения, которая прошла через эти юридические процессы. Мы видим и то, и другое, и видим, что это, по сути, двухуровневая ИТ-практика, которую в некоторой степени раскрывают такие люди, как Anderson Consulting и Gartner. Мы видим много этого.
Ребекка Йозвиак: Хорошо, хорошо. Кто-то еще проявил интерес к этому конкретному слайду, он сказал, что это действительно интересно, и подумал, не могли бы вы просто немного подробнее сравнить флэш-память и оперативную память.
Брайан Балковски: Конечно, позвольте мне быстро пройтись по боковой стойке, опять же, я знаю, что мы близки к концу времени. Ну, флэш - это память, это чипы, я склонен думать об оперативной памяти. Таким образом, ОЗУ обладает особыми характеристиками, требует много энергии, оно очень хорошо при случайных и случайных чтениях. Где NAND способен на быстрое случайное чтение и более низкое энергопотребление, но это очень плохо при случайной записи. Существуют некоторые тонкие различия в том, как эти две микросхемы работают на уровне литографии, что создает ряд технических отличий.
В случае, когда вы занимаетесь аналитикой и вам нужно пропустить большое количество данных, или в случае Aerospike, где вы получили индексы, индексы все еще очень хорошо использовать в оперативной памяти из-за параллелизма и произвольного доступа. Требуется более высокий уровень произвольного доступа. В Aerospike, тем не менее, мы обнаруживаем, что использование этих индексов для поиска определенного объекта или порции данных является подходящим местом для обращения к NAND, поскольку он становится чем-то вроде большего хранилища под индексами. Тогда это одна транзакция для устройства хранения, но все же после выполнения большого количества возможностей и фильтров в вашей системе индексации.
Ребекка Йозвиак: Хорошо, хорошо. И потом, я знаю, что мы уже много говорили об IoT, и один из посетителей сказал, что IoT в значительной степени выгоден, но как вы думаете, компании, правительственные организации и разработчики обеспечивают безопасный рост и защиту данных с той же скоростью?
Брайан Булковски: Может, Дез, ты бы хотел прыгнуть?
Дез Бланчфилд: Да, я счастлив, что прыгнул в это. Я думаю, что ответ - нет. На самом деле, одна из моих самых любимых статей на эту тему очень и очень кратко состоит в том, что я думаю, что взрыв машины к машине и общему Интернету вещей, коммуникации и безопасности, риск вокруг этого, мы находимся сейчас в точке, где правительства не могут идти в ногу со скоростью изменений. И на самом деле мы знаем, что многие организации не могут идти в ногу со скоростью изменений. На самом деле, если я перефразирую это, скорость изменений сегодня настолько велика, что организациям приходится спринтоваться, чтобы просто не отставать, но им приходится спринтаться в нескольких гонках. Я не думаю, что закон, и я не думаю, что правительство в целом, как на уровне штата, так и на федеральном уровне, в состоянии не отставать от темпов изменений.
Теперь мой общий совет людям - это своего рода поступок, а позже я прошу прощения. В прошлом было много примеров этого. Они наверстают упущенное, но я думаю, что на самом деле бизнес-провайдеры и поставщики технологий должны внести свой вклад в инновации в этой области и убедиться, что мы знакомы с рисками безопасности или рисками конфиденциальности, и нам нужно с ними справиться. Банки, в частности, как вы упомянули, когда вы думаете о том, что банковская организация традиционно делает с такими вещами, как борьба с отмыванием денег, и знаете своего клиента, вызов AML / KYC, раньше мы пытались каждые три-пять лет и соответствовать требованиям.
Теперь я думаю, что это должно быть встроено в каждую транзакцию. Вы всегда могли делать это на уровне ставок с помощью рекламы, торговли акциями, облигациями и акциями, я думаю, что мы достигли той точки, когда производительность, которую вы достигли с платформой Aerospike, позволяет нам теперь думать о том, как мы приносим конфиденциальность, как мы можем обеспечить безопасность в этой немедленной цепочке решений в реальном времени? И поэтому ответ - нет, я не думаю, что правительства идут в ногу. Я думаю, что компании должны идти в ногу, и я думаю, что мы должны действовать сейчас и попросить прощения позже.
Брайан Балковски: Позвольте мне также добавить пару моментов. Ребята, с которыми я имею дело, технологические компании, с которыми я имею дело, очень осведомлены о том, чтобы убедиться, что они находятся на правильной стороне закона, и довольно много дискуссий заключается в том, могу ли я использовать этот PII, как Я использую этот конкретный кусок данных? Каково было его провидение, и это защищенное решение или опыт? Как мне все это сделать? Так что это хорошие новости. Я иногда задаюсь вопросом о нашей дискуссии как о обществе, к которому мы идем, и о том, находится ли дискуссия в нашем обществе на должном уровне с точки зрения использования новых возможностей от IoT вплоть до машинного обучения, что является единственным способом сортировать объемы данных, которые мы имеем. Но хорошая новость заключается в том, что парни, с которыми я разговаривал, действительно находятся на правильном пути, пытаясь исправить ситуацию с помощью принятых нами юридических решений.
Ребекка Йозвиак: Это действительно хорошие ответы от вас обоих, и я полностью согласен. Я не думаю, что безопасность движется такими же быстрыми темпами, как развитие технологий, особенно когда дело доходит до Интернета вещей, но я должен думать, что люди делают все возможное, и, надеюсь, мы добьемся этого. Всегда немного сложно оставаться на десять шагов впереди кибер-воров и киберпреступников, но мы доберемся до этого.
Ну, ребята, мы прошли восемь минут после начала часа. Я хотел бы поблагодарить наших гостей Брайана Булковски из Aerospike и Dez Blanchfield и Robin Bloor. Огромное спасибо. Вы всегда можете найти наши архивы на insideanalysis.com, SlideShare, YouTube, у нас есть много хороших веб-трансляций, готовятся люди, это был напряженный месяц. В следующем месяце это будет напряженный месяц, так что следите за обновлениями, и мы надеемся увидеть вас в следующий раз. Спасибо, ребята, пока, пока.
