Q:
Почему «информационное узкое место» является важной теорией глубокого обучения?
A:Идея «информационного узкого места» в искусственных нейронных сетях (ИНС) основана на особом принципе, связанном с распространением различных видов сигнализации. Он рассматривается как практический инструмент для изучения компромиссов, которые делают эти системы искусственного интеллекта самооптимизируемыми. Wired статья, описывающая концепцию информационного узкого места, представленная Tishby et. и др. говорит о «избавлении от зашумленных входных данных от посторонних деталей, как будто путем сжатия информации через узкое место» и «сохранении только тех характеристик, которые наиболее соответствуют общим понятиям».
Как относительно новая концепция, идея узкого места в информации может помочь улучшить и изменить то, как мы используем ANN и связанные системы для моделирования когнитивной функции. Один из способов, которым эта теория может помочь, - это помочь нам лучше понять парадигмы, поддерживающие функции нейронной сети. Например, если принцип иллюстрирует, как система сохраняет только определенный набор функций, мы начинаем видеть, как эта «дискриминация данных» делает сеть «обезьяньей» человеческим мозгом, и инженеры могут добавить это в модели нейронных сетей. Идея здесь заключается в том, что, в конечном счете, технология нейронных сетей станет скорее универсальной концепцией, а не просто провинцией привилегированных. В настоящее время компании охотятся за дефицитным искусственным интеллектом; Такие теории, как теория «узкого места» в информации, могут помочь распространить знания о нейронных сетях среди непрофессионалов и «средних пользователей» - тех, кто не является «экспертом», но может помочь в появлении и распространении технологий нейронных сетей.
Другая важная ценность информационного узкого места - то, что инженеры могут начать обучать системы работать более точным способом. Наличие руководящих принципов для системной архитектуры высшего уровня может упростить эволюцию этих типов технологий, и поэтому более четкое представление о принципах глубокого обучения является ценным в мире ИТ.
В целом, авангард, работающий над ИИ, будет продолжать уделять особое внимание тому, как работают нейронные сети, включая идею «соответствующей информации» и то, как системы различают выполнение функций. Одним из примеров является обработка изображений или речи, когда системы должны научиться распознавать многие варианты как «объекты». В общем, узкое место в информации показывает конкретное представление о том, как нейронная сеть будет работать с этими объектами, и, в частности, как эти модели данных обрабатывать информацию.
