科学技術機械学習幾何学的深層学習ベイズ深層学習その他のテーマ

その他のテーマ

深層学習の構造や学習法に対して,適切な制約や補助を与える研究をさまざまに実施しています.

その他のテーマ

注意機構を持った深層ニューラルネットワークの勾配探索

ニューラルネットワークのアーキテクチャ設計には専門知識と多大な労力が必要です. しかし,ニューラルアーキテクチャ探索(NAS)の発展により,画像分類タスクで効率よく高精度アーキテクチャを得ることが可能となりました. 画像分類には一般的に畳み込みニューラルネットワーク(CNN)が使われ,主要な演算は畳み込みとpoolingです. 従来のNAS手法ではこれらの演算のみを選択肢としていましたが,最近ではCNNに注意機構を追加することで,表現力を高めながら精度向上とパラメータ数の増加を抑えることができます. そこでこの研究では,注意機構を組み込んだCNNの設計方法を提案しました.

  • Kohei Nakai, Takashi Matsubara, and Kuniaki Uehara, "Neural Architecture Search for Convolutional Neural Networks with Attention," IEICE Transactions on Information and Systems, vol. E104.D, no. 2, 2021. J-STAGE
  • Kohei Nakai, Takashi Matsubara, and Kuniaki Uehara, "Att-DARTS: Differentiable Neural Architecture Search for Attention," The 2020 International Joint Conference on Neural Networks (IJCNN2020), Glasgow (Online), Jul. 2020.
    Slide Code

ランダムな画像切り抜きと貼り付けを用いたデータ拡張

膨大なパラメータを持つ深層畳み込みニューラルネットワーク(CNN)が,画像処理の分野において大きな成果をあげています. しかし,学習データに対して膨大すぎるパラメータを持つ深層CNNは,常に過学習を起こすリスクがあります. この問題を解決するために,学習データの擬似的な水増しを行う,data augmentationの手法が広く提案されてきました. 特に画像反転,くり抜き,拡大縮小や色彩情報の変換などのdata augmentationは,深層CNNの高性能化に貢献しています. 本研究では,これらをさらに発展させ,4枚の異なる画像をそれぞれランダムにくり抜き,それらを貼り合わせて新たな学習画像を構成するdata augmentationの手法を提案し,画像処理の更なる高精度化を実現しました.

Qiitaにて紹介や検証の記事を書いていただいています.

  • Ryo Takahashi, Takashi Matsubara, and Kuniaki Uehara, "Data Augmentation using Random Image Cropping and Patching for Deep CNNs," IEEE Transactions on Circuits and Systems for Video Technology, vol. 30, no. 9, pp. 2917-2931, 2020.
    IEEE arXiv
  • Ryo Takahashi, Takashi Matsubara, and Kuniaki Uehara, "RICAP: Random Image Cropping and Patching Data Augmentation for Deep CNNs," The 10th Asian Conference on Machine Learning (ACML2018), Beijing, Nov. 2018, pp. 786-798. (acceptance rate 57/230=0.248)
    Paper Slide Code

強化学習と模倣学習の融合による人間らしいエージェント

強化学習エージェントは,囲碁や自動運転,テレビゲームなど様々な課題を解決する能力があります. 強化学習は報酬を最大化するようにエージェントを訓練する方法であるが,実用化を考えると性能以外の要素も考慮する必要があります. 例えば,あまりに強すぎるエージェントは,テレビゲームではプレイヤーの楽しみを奪いますし,自動運転では過度な加減速によってユーザに不安を与える恐れがあります. そのため,人間らしいエージェントの設計が求められます. 模倣学習は人間エキスパートの方策を学習し人間らしい行動が期待できますが,エキスパートを超える性能は出ません. 本研究では強化学習と模倣学習を融合し,両者の長所を活かしたモデルを提案しました. 提案したモデルは,Atariゲームや運転シミュレータTorcsに適用して実験を行い,性能評価および感性試験を実施した結果,模倣学習エージェントを上回る性能と人間らしい振る舞いを示しました. 本研究は株式会社エクォス・リサーチ様との共同研究の一環として実施しました.

  • Rousslan Fernand Julien Dossa, Xinyu Lian, Hirokazu Nomoto, Takashi Matsubara, and Kuniaki Uehara, "Hybrid of Reinforcement and Imitation Learning for Human-Like Agents," IEICE Transactions on Information and Systems, vol. E103.D, no. 9, pp. 1960-1970, 2020.
    J-STAGE
  • Rousslan Fernand Julien Dossa, Xinyu Lian, Hirokazu Nomoto, Takashi Matsubara, and Kuniaki Uehara, "A Human-Like Agent Based on a Hybrid of Reinforcement and Imitation Learning," The 2019 International Joint Conference on Neural Networks (IJCNN2019) , Budapest, Jul. 2019.
    IEEE Slide

くもろぐ~全天球画像のデータ収集と雲形と状態判定

海上気象観測は安全な航海に不可欠であり,日本では一般船舶にも観測結果を気象庁へ報告する義務があります. しかし,従来の気象測器では雲形(雲の種類)や雲量を判別できず,目視に頼らざるを得ません. 海外には雲形自動判断の研究がありますが,日本の気象環境や報告内容に完全には対応していない例も多く,日本向けのシステム開発が望まれています. そこで本研究では,全天球画像を撮影するデバイスを開発し,船舶に搭載して中規模データを収集し,雲の下層・中層・上層ごとに雲形と状態をラベリングしました. 深層畳み込みニューラルネットワークで学習した結果,雲形と状態のいずれも精度0.9を超えることを確認しました. 本研究はスカパーJSAT株式会社様,バニヤン・パートナーズ株式会社様,株式会社神戸デジタル・ラボ様,神戸大学 大学院海事科学研究科 大澤教授との共同研究のとして実施しました.

また本研究成果の一部はiOS及びAndroid用アプリ『くもろぐ』としてリリースしました App Store Google Playにてダウンロード可能. 神戸大学プレスリリースNHK WEB NEWS朝日新聞日刊工業新聞にも取り上げられました.

  • 森川優, 中西波瑠, 稲村直樹, 近藤伸明, 小渕浩希, 大澤輝夫, 松原崇, 申吉浩, 大島裕明, 上原邦昭, "船舶における全天球画像のデータ収集と雲形・状態・全雲量の自動判定の試み," 日本気象学会機関誌「天気」, vol. 70, no. 12, pp. 577-692, 2023.
  • 稲村直樹, 藤原宏太, 天方貴久, 釣文男, 中西波瑠, 小渕浩希, 大澤輝夫, 松原崇, 上原邦昭, "全天球画像と日射量データによる太陽光発電量予測," 2020年度 第34回人工知能学会全国大会(JSAI2020), 熊本, 6月, 2020.
  • 森川 優, 中西 波瑠, 稲村 直樹, 近藤 伸明, 小渕 浩希, 大澤 輝夫, 松原 崇, 上原 邦昭, "全天球画像のデータ収集と雲形と状態判定," 2018年度 第32回人工知能学会全国大会(JSAI2018), 2A4-01, 鹿児島, 6月, 2018.