川本 一彦

歩行ロボット開発において，温度変化による膨張や収縮，表面の摩耗，あるいは異物の付着等による微小な体型変化に対する堅牢な設計は重要な課題である．本研究では，強化学習で訓練した歩行ロボットに対して，報酬を大きく減少させる微小な体型変化を敵対的攻撃によって探索する手法を提案する．一般に敵対的攻撃は深層学習の損失を減少させる入力摂動を求めるのに対して，提案手法は強化学習の報酬を減少させる体型摂動を求めている．体型変化に関する勾配の計算は，誤差逆伝播法のような効率的な最適化アルゴリズムが利用できないため，差分進化を用いている．実験では，OpenAI GymのHalCheetah-v2，Ant-v2，Humanoid-v2をあらかじめ強化学習で訓練しておき，それらの各パーツの長さと太さの微小変化を提案手法によって探索した．この探索により発見した体型変化の多くは，左右の対称性を崩すものや重心位置をずらすものであり，この傾向は全く形状の異なる３種の歩行ロボットに共通して見られた．このような体型変化の傾向の発見は，歩行ロボットの形状設計や素材を検討する際に役立つと期待される．

軌道狂いとは軌道に生じた歪みや変形であり，その劣化速度は保線工事や軌道直下の地盤などの複数の外因的要素によって変化する．これらの外因的要素を表すデータには，軌道直下の地形を表す空間的なカテゴリカルデータや，保線工事の施工有無を表す時空間的な二値データなどがある．これまで我々は，このような外因性データを用いて，convolutional long short-term memory (ConvLSTM) によって新幹線の軌道狂いを時空間予測してきた．このConvLSTMでは，カテゴリカルデータや二値データを埋め込み層に入力することで，各外因的要素を特徴ベクトルで表現した．本論文では，専門家の知見にしたがって，降水量，設備の年齢，列車の単位通過量を新たな外因性データとして追加し，回帰予測している．ドクターイエローによる実データを用いた実験では，追加した外因性データを含めて，予測への寄与を調べ，予測に影響のある外因的要素を特定した．

強化学習による歩行ロボット学習において，報酬を減少させる環境変化を見つけることは，潜在的な転倒リスクの発見だけでなく，堅牢な歩行ロボットの開発につながる．とくに，環境のなかでも歩行ロボットの関節は可動部位のため故障が発生しやすく，環境変化が起きやすい．本研究では，関節トルクに対する敵対的攻撃によって，微小な変化であっても報酬を大きく下げる関節トルク制限を発見する方法を提案する．一般に敵対的攻撃は深層学習の損失を減少させる入力摂動を求めるのに対して，提案手法は強化学習の報酬を減少させる環境摂動を求めている．そのため，誤差逆伝播法のような効率的な最適化アルゴリズムが利用できず，差分進化法を用いて敵対的摂動を求めている．実験では， OpenAI GymのAnt-v2とHumanoid-v2を深層強化学習で訓練したあとに，最も歩行を妨げるトルク制限を探索した．提案手法によって，Ant-v2の歩容に応じて報酬を大きく減少させるトルク制限を見つけることができた．一方，Humanoid-v2は関節への摂動に対して堅牢だと判明した．

<p>強化学習によるロボット制御では，シミュレーション環境で方策を獲得し，それを現実環境に適用することが一般的になりつつある．シミュレーション環境と現実環境にはギャップがあるため，それを埋めるために，さまざまなシミュレーション環境で学習させておく方法が提案されている．本研究では，歩行ロボットのために，シミュレーション環境の地形形状を徐々に複雑にしていくカリキュラム強化学習を提案する．提案方法では，地形形状をイジングモデルで表現し，その相互作用パラメータを地形形状の複雑さの決定に用いる．イジングモデルの性質から，相互作用パラメータが大きいとき地形は平らになり，小さくしていくと凹凸が発生する．評価実験では，この地形パラメータ化によるカリキュラム強化学習の有効性を示している．</p>

<p>鉄道事業者にとって，鉄道の軌道形状の変形である軌道狂いの予測は，安全性の確保や保守計画の管理のために重要である．本論文では，新幹線軌道の高低狂いの時空間予測のために， convolutional long short-term memory (ConvLSTM) に基づく深層予測モデルを提案する．提案モデルは，高速検査列車が測定した軌道狂いや動揺などの時空間データだけでなく，軌道構造や地盤などの静的なカテゴリカルデータ，保守作業有無の２値時系列データを用いて学習される．学習では，回帰タスクでは十分な精度が達成できなかったため，高低狂いを２mm単位に量子化したうえで分類タスクとして定式化し，分類精度の観点から予測精度を評価している．実データを用いた実験評価では，高低狂いが進行している要注意地点において，提案モデルは，軌道構造や地盤などの静的なデータや保守作業日記録の時系列データを用いた方がより高い予測性能を示す結果が得られている．</p>

<p>強化学習では，コスト面や安全性の理由から，シミュレーション環境で方策を学習し，現実世界に適用することが一般的である．しかし，現実世界の外乱や故障によってシミュレーション環境とテスト環境のギャップが生まれるため，学習された方策のみでは適応できないことが多い．そのようなギャップを埋めるために，様々なシナリオに適応できる方策が必要である．本稿では，故障に対してロバストな方策獲得のための強化学習手法を提案する．提案手法では，故障をロボットの物理パラメータの調整によって表現する．学習時に物理パラメータをランダム化することで様々な故障の下での強化学習を実現している．評価実験では，故障が発生するシミュレーション環境下での4足歩行タスクに対して，提案手法によるロボットが通常のロボットよりも高い平均報酬を獲得したことを示す．さらに故障がない環境下でも評価したところ，同様に提案手法によるロボットはより高い平均報酬を獲得することができた．</p>

<p>災害の現場等の人が立ち入ることの出来ない場所で用いられるロボットは，故障した際に修理を受けることが出来ないため，故障した状態のままタスクを達成する必要がある．本研究ではこのような状況を想定し，強化学習を用いて故障時においても高い性能を得ることができる方策を獲得することを目的とする．提案手法では，定常環境おける正常時の遷移関数を学習しておき，それから予測される状態遷移と実際の状態遷移の差分を強化学習アルゴリズムの入力に付け加える手法を提案する．状態遷移の差分を用いることで，正常時の状態遷移に近づくように行動を修正することが期待できる．実験では，シミュレーション環境でロボットの関節をランダムに故障させながら学習し，状態遷移の差分を用いない手法と比較して提案手法がより高い収益を獲得できることを示している．</p>

<p>本稿では，ゼロショット動画生成のためのGenerative Adversarial Nets (GANs)を提案する．ゼロショット動画生成は，訓練データに含まれないクラスの動画を生成する．例えば，ある人の歩行動画と別の人のダンス動画だけが訓練データに含まれているとき，前者の人物がダンスをしている動画を生成するタスクである．これを実現するために，GANsの潜在空間を人物や人物動作などのクラスごとに分解し，GANsを制御する方法を提案する．提案手法では，潜在空間を動きと内容に分解するMotion and Content Decomposed GANに対して，動きと内容に関するより詳細なクラス情報を与えることで潜在空間を細分化している．これにより，GANsの制御性が高まり，訓練データに含まれないクラスで条件付けることでゼロショット動画生成を実現している．実験では，色付きMNISTとWeizmann action databaseを用いて，ゼロショット動画生成の結果を評価し，提案手法の有効性を示している．</p>

<p>確率的正則化のモデルやアテンション機構を組み合わせ，より高性能な確率的正則化のモデルを作成する.ShakeDrop を軸にStochastic Depth と SENet を組み合わせる.データセットの CIFAR-100 を用いて誤認識率で比較した結果，提案する手法は全て ShakeDrop 単独よりも低くなった.</p>