Deep Learning のメモリがボトルになっている場合

Memory-Limited Layers User's Guide

Deep Learning においては行列の乗算以外の要素はメモリがボトルネックになっていることが多い。

Normalization

Normalization の実行時間は入力テンソルサイズとメモリバンド幅で決まる。

活性化関数

活性化関数は計算量が小さいので、実行時間はメモリバンド幅で決まる。よって高速化するには活性化関数を減らすしかない。

プーリング

プーリングもたいした計算を行わないので、メモリがボトルネックになる。実行時間は入力テンソルサイズに比例する。