Q:
Защо „информационното препятствие“ е важна теория в задълбоченото обучение?
A:Идеята за „информационно препятствие“ в изкуствените невронни мрежи (ANNs) работи на специален принцип, свързан с разпространението на различни видове сигнализация. Той се разглежда като практично средство за проучване на компромиси, които правят тези системи за изкуствен интелект самооптимизирани. Статия, свързана с жици, описваща концепцията за ограничаване на информацията, представена от Tishby et. Ал. говори за „освобождаване на шумни входни данни на чужди детайли, сякаш чрез изтръгване на информацията през тясното тяло“ и „запазване само на характеристиките, най-подходящи за общите понятия“.
Като сравнително нова концепция, идеята за ограничаване на информацията може да помогне за подобряване и промяна на начина, по който използваме ANN и свързани системи за моделиране на когнитивните функции. Един от начините, по които тази теория може да помогне, е като ни помогне да разберем по-добре парадигмите, които поддържат функциите на невронната мрежа. Например, ако принципът илюстрира как само определен набор от функции се запазва от системата, започваме да виждаме как тази „дискриминация на данни“ прави мрежа „маймуна“ човешкия мозък и инженерите могат да добавят това в модели на невронни мрежи. Идеята тук е, че в крайна сметка технологията на невронните мрежи ще стане по-скоро „универсална“ концепция, а не само провинция на няколко привилегировани. В момента компаниите са на лов за оскъдни AI таланти; теории като теорията на тесните места на информацията могат да помогнат за разпространението на знания за невронните мрежи в лайпсън и към „средните потребители“ - тези, които може да не са „експерти“, но могат да помогнат за появата и разпространението на технологии на невронните мрежи.
Друга важна стойност на информационното място е, че инженерите могат да започнат да обучават системи за работа по по-прецизен начин. Наличието на някои насоки от най-високо ниво на архитектурата на системата може да оптимизира развитието на тези видове технологии и следователно наличието на по-дефинирана представа за принципите на задълбочено обучение е ценно в ИТ света.
Като цяло авангардът, работещ върху AI, ще продължи да разглежда конкретно как работят невронните мрежи, включително идеята за „подходяща информация“ и как системите дискриминират да изпълняват функции. Един пример е в обработката на изображения или реч, при която системите трябва да се научат да идентифицират много вариации като „обекти“. Като цяло, информационното препятствие показва конкретен поглед върху това как невронната мрежа би работила с тези обекти и по-конкретно как тези модели данни информация за процеса.
