Секция посвящена когнитивным технологиям
Рабочий язык: русский
Формат проведения: очный
Дата проведения: 03 апреля 2023г., в 14:00 часов, ИСА РАН, ул. 60-летия Октября, 9
Для уменьшения вычислительной стоимости свёрточных нейронных сетей часто используется целочисленное квантование. Для обучения подобных моделей может использоваться постепенное квантование — подход, при котором сеть квантуется по частям и дообучается. В данной работе рассмотрено влияние выбора порядка квантования фильтров свёрточной нейронной сети на её качество. Эксперименты на выборке CIFAR-10 показали, что выбор стратегии не влияет на качество при произвольной разрядности квантования.
Для уменьшения вычислительной сложности нейронных сетей используются различные подходы. Один из них – бинарные нейронные сети. В работе предложен промежуточный шаг к обучению бинарных нейронных сетей на основе бернуллиевской наивной модели нейрона. Эксперименты на выборке MNIST показали, что подход с использованием предложенной модели позволяет обучить нейронную сеть, сравнимую по точности с классической вещественной сверточной сетью.
В работе представлен метод получения быстрого суммирующего оператора обратного проецирования в задаче томографической реконструкции. Метод основан на разложении матрицы прямого оператора в произведение бинарных матриц и их транспонирования. На примере показано уменьшение в 1.4 раза количества суммирований алгоритма вычисления оператора обратного проецирования в схеме Брейди-Йона, используя прямой оператор, ускоренный с помощью метода 4 русских.
Для уменьшения вычислительной сложности нейронных сетей используются различные аппроксимации нейронов. Одной из таких аппроксимаций на основе операций суммы и максимума является биполярный морфологический нейрон. В работе предложен подход к обучению биполярных морфологических нейронных сетей на основе непрерывных аппроксимаций максимума. Эксперименты на выборке MNIST показали, что подход с использованием LSE позволяет получить БМ сеть превосходящую в точности классификации референтной сети.