Spiking Neural Networks

Spiking Neural Networksとは

近年ニューラルネットワークのモデルは巨大化しており、学習や認識にかかるコストが肥大化しているという問題があり、そのためニューラルネットワークの計算量を下げることは重要な課題になっております。 Spiking Neural Networksは生物の脳を模倣したニューロンチップ上でニューラルネットワークのモデル計算を行う手法です。 一般的なニューラルネットワークの計算を行うGPUは連続なfloat値を用いてモデル計算を行うのに対し、ニューロンチップはsparseな２値の信号で計算を行うために従来より低い計算量で認識を行えることが期待されます。 しかしながらニューロンチップは２値の離散的な信号を扱うという都合上表現力が少ない、学習が困難という問題点があり、いかにそれらを解決してニューロンチップの能力を生かした認識モデルを構築するかが課題になります。

関連研究

ニューロンモデルのハードウェア実装についてはIntel LoihiやIBM TrueNorth等大企業が積極的に開発しています。 Spiking Neural Networksは２値信号を扱い通常のback propagationが適用できないため、学習方法が様々に研究されています。 ANN-SNNの変換ベースな学習手法は始めに通常の連続値のニューラルネットワークを学習しその後Spiking Neural Networksに変換するという過程を取り、通常のニューラルネットワークを経るため学習は安定するものの変換後のSpiking Neural Networksの認識に必要な時間が長くなりがちになる問題があります。 直接Spiking Neural Networksを学習する方法はコンパクトなモデルを学習可能な長所はあるものの学習が安定しづらいといった問題があります。連続なニューラルネットワークの学習安定化手法をSpiking Neural Networksに輸入することで安定化を計る研究も盛んにされています。

この研究室の独自性と成果

Spiking Neural Networksを用いた生成モデル [Kamata+, AAAI 2022]

[Kamata+, AAAI 2022]において画像生成にSpiking Neural Networksで行う手法を提案しました。 画像の離散的な意味情報を出力する通常の画像認識に対して画像生成は各ピクセルの画素値を出力する必要があるため、より困難な課題である。 実際に既存手法ではきれいな画像を出力することが困難であったり、一部連続なモジュールが必要になったりする問題があった。

[Kamata+, AAAI 2022]では生成モデルの一つであるVarietional Autoencoderを離散的に拡張することによりSpiking Neural Networksにより手書き文字や顔画像の生成を行うことを可能にした。 通常のVariteional Autoencoderでは連続的な潜在変数分布と分布間距離を扱う必要があり、提案手法においては潜在変数分布にも別のSpiking Neural Networksを用いること、分布間距離の計算にmaximum mean discrepancyを用いることにより離散的な信号のみで生成モデルを構築した。 提案モデルは同じ規模のモデルを通常の連続ニューラルネットワークで構築した時よりも良い生成性能を示した。

今後の方向性

Spiking Neural Networksを最新の高性能な生成モデルや大規模認識モデルと組み合わせることによる高性能かつ効率的な認識モデルが期待される。 そのためにも安定した学習手法の構築が望まれる。

参考文献

1. Hiromichi Kamata, Yusuke Mukuta, Tatsuya Harada, “Fully Spiking Variational Autoencoder”, In the 37th AAAI Conference on Artificial Intelligence (AAAI 2022), 2022.