Увлекательная презентация Кейт Кроуфорд, главного исследователя Microsoft Research, на конференции Strata 2013, которая более подробно рассматривает большие данные и их значение, а также исследует некоторые из того, что Кроуфорд называет «алгоритмическими иллюзиями», и ограничения крупномасштабных решений для обработки данных. которые принимаются во многих частях делового мира.
Используя фундаментальную аналогию с оптической иллюзией, связанной с вращающимся котом, Кроуфорд доказывает, что хотя большие данные необходимы для многих бизнес-приложений, существует более одного способа интерпретации многих результатов наборов данных, которые могут показаться объективными для лиц, принимающих решения.,
«Вещи можно увидеть по-разному», - сказала Кроуфорд, сославшись на статью, в которой она и соавтор Дэвид Бойд размышляют о некоторых основных принципах использования больших данных, включая то, что Кроуфорд называет «мифологией», или убеждение, что большие данные приносят абсолютную правду. и объективизм к проекту. По ее словам, лидеры часто напрямую связывают большие данные с объективным представлением с высоты птичьего полета, игнорируя при этом то, что она назвала тремя фундаментальными ограничениями или соображениями, которые могут влиять на эту объективность ключевыми способами: смещение, сигнал и масштаб.
Начиная с предвзятости, Кроуфорд использует примеры наводнений в Австралии и Соединенных Штатах, чтобы показать, что большие данные не всегда соответствуют реальности на улице. Она связывает второй принцип - сигнал, дополнительно иллюстрируя, как наборы данных могут отражать скрытые факты, которые могут сильно исказить результаты. В качестве одного из примеров Кроуфорд привел множество видов карт мира, которые были разработаны в попытке показать объективную картину относительного размера континентов и стран.
«Карты не являются нейтральными», сказал Кроуфорд. «Мы делаем выбор каждый раз, когда решаем представлять наши данные».
Чтобы дополнительно проиллюстрировать этот принцип, Кроуфорд использует пример приложения, которое сообщает о выбоинах в Бостоне городским чиновникам, предполагая, что такого рода приложения, которые работают на смартфонах и мобильных устройствах, могут в конечном итоге сделать общие отчеты похожими на карты переписи с указанием относительного возраста. и доход по городу или муниципалитету.
«Мы рискуем еще больше утвердить определенные виды социального неравенства», - сказал Кроуфорд, указывая на тех, кто может быть исключен из данного большого набора данных из-за различий в использовании технологий.
«Что произойдет, если вы живете в тени больших наборов данных?» она сказала.
Кроме того, Кроуфорд также рассказывает об исследованиях, проведенных несколько лет назад, в которых ставился вопрос о том, всегда ли информация высокого уровня представляет собой более детализированные данные и всегда ли «объективная панорама» работает как более точное представление, чем данные в меньшем масштабе. Кроуфорд также просит слушателей подумать не только о больших данных, но и о «данных с глубиной». Под этим она подразумевает данные, которые действительно направляют читателей к объективной реальности, а не приукрашивают детали более глобальным подходом, который, хотя и проще для понимания, может не учитывать ключевые элементы того, что действительно существует.
