川本 一彦

深層強化学習による歩行ロボット制御では，ロボット体型への敵対的攻撃に対する脆弱性がある．本研究では，敵対的体型を用いた敵対的訓練が，歩行ロボット体型に対する敵対的攻撃だけでなくランダムノイズに対しても頑健になることを実験的に明らかにする．実験では，MuJoCo環境で，四脚ロボットのUnitree A1を用いて，敵対的体型やランダム体型に対する頑健性を報酬の観点から評価する．敵対的体型は，差分進化法を用いて，各脚パーツの長さを微小に変化させながら探索し，最低報酬値になった体型として求める．ランダム体型は，通常体型に一様なランダムノイズを加えて作成する．通常体型，ランダム体型，敵対的体型を用いて，それぞれ方策ネットワークを訓練し，テスト評価する．実験結果は，敵対的訓練は通常体型，敵対的体型だけでなくランダム体型に対しても頑健になることを示した．深層学習による画像分類でも同様な結果が知られており，本研究により，深層強化学習のロボット制御でも，敵対的訓練の頑健性に関する有効性が明らかになった．

深層強化学習を用いた四脚歩行ロボット制御では，そのアクチュエータへのトルク信号に対する敵対的攻撃が可能である．すなわち，トルク信号に，意図的に設計した摂動を加えるとロボットを転倒させることができる．本研究では，このような敵対的攻撃に対する防御として，画像認識分野で知られている敵対的訓練が有効かどうか実証的に検証する．さらに，一様ランダムノイズに対する頑健性も評価する．検証実験では，物理シミュレータMuJoCo環境で四脚ロボットAntとUnitree A1を用いて，報酬の観点から敵対的攻撃への頑健性を評価する．敵対的なトルク信号は，差分進化法を用いて求める．実験結果は，ある一定の比率で敵対的なトルク信号を加える敵対的訓練が，敵対的攻撃だけでなくランダムノイズに対しても頑健になることを明らかにした．