ИСТИНА

В нейробиологии описано явление, при котором наличие сильного сигнала в нейроне коры головного мозга приводило к уменьшению слабых сигналов в соседних нейронах. Это явление получило название латерального торможения и было тщательно изучено с точки зрения его роли в когнитивных функциях. Настоящая работа вдохновлена явлением латерального торможения, хотя и не воспроизводит его в точности. В настоящей работе мы предлагаем градиентную маску, которая отфильтровывает градиенты шума в процессе обратного распространения. Такое обучение позволяет увеличивать плотность и амплитуду представления сигналов в сети. В работе мы представляем новую меру качества градиента. Мы демонстрируем аналитическими методами, как латеральное торможение в искусственных нейронных сетях улучшает качество распространяемых градиентов. Наконец, проводим несколько различных экспериментов, чтобы изучить, как градиентная маска улучшает количественную и качественную производительность сети.