QuickNet — более быстрый, более глубокий и эффективный

QuickNet — это новая архитектура сети, она быстрее и эффективнее, чем нынешняя крайне «быстрая» дипвеб сетевая архитектура, такая как SqueezeNet. QuickNet использует меньшее количество параметров, по сравнению с предыдущими сетевыми архитектурами. Это стало возможно через реализацию нескольких ключевых изменений в справочнике дипвеба и сетевой архитектуре модели.

а — для более глубинного погружения используется separable convolutions

б — параметрические выпрямители линейных блоков

Создатель QuickNet доказывает, что ошибки в линейных единицах устранены, с вычислительной точки зрения. Он также отметил, что separable convolutions можно рассматривать, как жсатый процесс создания в сети. В дипвебе сетевая архитектура QuickNet, вдохновлена вышеупомянутыми наблюдениями, что привело к более быстрой и эффективной модели сетевой архитектуры. QuickNet имеет по крайне мере четыре основных преимущества:

1. Меньшая по размеру модель, которая работает более эффективно даже на системе с ограниченными ресурсами памяти.

2. Очень быстрая сеть, которая работает более эффективно даже на системах с ограниченнем в вычислительной мощности.

3. QuickNet выдаёт точность до 95,7% на CIFAR-10 Dataset. Это превосходит всех предыдущие эксперименты, кроме одного, но QuickNet представляет собой группу ортогональных подходов, которые могут быть объединены, а не искользоваться в отдельности, для полученися ещё более выского уровня точности.

4. Ортогональность по сравнению с предыдущими моделями сжатия сети, позволяет реализовать гораздо более высокую скорость.

В настоящее время признано, что ресурсы памяти, а не вычислительные ресурсы, являются главными потребителями энергии. Предыдущие исследования показали, что коммерчески энергоёмкость микросхем процесса 40 nm составляет в 200 раз выше, чем в 32-bit. Соотвественно, понятно, что для того, чтобы создать сеть малого веса, которая энергосберегательна, архитектура должна опираться на минимизацию параметров. С другой стороны, наряду с минимизацией параметров, промежуточные activation maps также затрачивают большое количество ресурсов памяти.

Предлагаемая архитектура в QuickNet, минимилизует количество параметров до 3,56 млн, используя менее 14,24 мб, а ведь это омжно ещё более сократить менее чем до 1 мб, при помощи глубокой компрессии. Было замечено, что при использовании сжатия с коэффициентом сжатия 15x, скорость практически не теряется.

QuickNet направлен на минимазацию параметров из-за того, что канал глубого сжатия представляет собой эффективный, но простой канал, для уменьшения размера модели, через совмещение с обрезкой квантования и кодированием Хаффмана, без ущерба для точности. Эта комбинация является достаточной сама по себе. чтобы значительно уменьшить размер. Напротив, вычислительные мощности работая в дипвебе, без ущерба для точности, существенно отстают. Соотстственно QuickNet направлен на предоставление сетей с низкой вычислительнйо сложностью, сохрняя при этом высокой уровень точности.

Результаты тестирования QuickNet:

Автор статьи заявил, что он эксперементировал с QuickNet на CIFAR-10, увеличивая данные с помощью Keras framework. Кросс-энтропия была использована, как потеря функции. Был проведён набор тестов со случайно выбранными 6000 изображений, которые не находились в интернете. Точность измерялась при помощи тестирования.

QuickNet прошёл тест с точностью 95,7%, что соответствует уровню погрешности 4,3%. Это выше, чем все существующие дипвеб архитектуры, за исключением ractional Max Pooling. Однако, подход в QuickNet является ортогональным, что частично увеличивает максимум и может быть использовано в разных комбинациях, но автор стать решил отказаться от него.

Одна из наболее интересных особенностей QuickNet — быстро сближение архитектуры, порядка 70-80%. Это может открыть дверь в сеть, многим коммуникациям в ближайшем будущем.

Конечно, даже лучшие результаты могут быть получены при дальнейших исследованиях, используя различные оптимизаторы, например, RMSProp.