脳科学の知見から、強化学習アルゴリズムの共同研究を開始
沖縄科学技術大学院大学(OIST)と株式会社富士通研究所(以下、富士通研究所)は、脳科学の最新の知見を活用し、人間のように応用力のある強化学習アルゴリズムを開発する共同研究を開始します。
昨今、行動に対する報酬をもとに、試行錯誤を通じて環境に適応した行動選択方策をコンピュータに獲得させる強化学習が、様々な成功事例によって注目を浴びていますが、従来の強化学習では、注目すべき情報をあらかじめ設計者が指定する必要や、問題ごとに学習をやり直す必要があるといった課題があり、実社会での適用は限られています。
本共同研究では、人間の脳の学習方法に着目し、そのメカニズムを強化学習アルゴリズムに取り入れることで、人間のように応用力があり、実社会で広く適用可能なAI(人工知能)の実現を目指します。
【 開発の背景 】
データに基づいて様々なタスクの遂行器を作成する機械学習は、画像認識や音声認識の分野で実用化も進み、現在のAI技術の中心となっています。その中でも、行動に対する報酬をもとに、試行錯誤を通じて環境に適応した行動選択方策を獲得させる強化学習は、昨今、様々な成功事例によって注目を浴びています。
【 課題 】
人間の脳は、様々な情報から本質的なものを選んだり、過去の学習を新しい問題の解決に役立てたり、特定の状況に適した行動とより確実で安全な行動を随時切り替えたりすることで、応用力のある学習を実現しています。例えば、人は雑踏の中でも自分の行きたい方向に応じて注意すべき人や障害物を瞬時に特定して衝突を避けることができます。また、将棋をある程度指せる人はチェスの上達も早いことが一般的であり、将棋の対局中、定跡どおりに指すか深く手を読むか、局面に応じた切り替えが可能です。しかし、従来の強化学習は、注目すべき情報をあらかじめ設計者が指定したり、問題ごとに学習をやり直したりする必要があるといった課題があり、実社会での適用は限られていました。
【 共同研究内容 】
OISTと富士通研究所では、このような脳の学習方法に着目し、最新の脳科学の知見に基づいてそのメカニズムを取り入れることで、従来の強化学習で人手により調整していた部分もAIが自律的に調整可能となる、より応用力のある強化学習アルゴリズムを開発する共同研究をこのたび開始します。
具体的には、主に、実用化に向けた課題の中でよりニーズの高い以下の3つの分野における新技術を開発します。
1. 動的に変化する大量データの中から強化学習に適した情報を自動的に抽出する技術
2. 過去の経験を別の問題の行動選択方策へと生かす転移学習技術
3. 複数の方策から状況に応じて行動を選択する協調・並列強化学習技術
OISTの銅谷賢治教授の研究チームは、脳科学の観点から神経計算機構の数理モデル化を行い、強化学習アルゴリズムへ反映します。富士通研究所は、最適化、制御工学の観点からアルゴリズム考案に参加し、同時に、計算資源を最大限活用する実装手法を開発します。
【 今後の展開 】
今年度に、OISTと富士通研究所は、大量の入力情報への対応と、環境変化へのフレキシブルな対応や保守的な対応など複数の方策を並列に学習させ行動選択に生かすという課題に取り組みます。
また、共同研究の成果を元に、ICTシステム管理、エネルギーマネジメントなどの実社会での応用において、人手による設定・調整なしで、環境に適応した方策をより効率的にコンピュータに獲得させるAIソリューションの開発を目指します。
富士通研究所は、富士通株式会社のAI技術「Human Centric AI Zinrai(ジンライ)」の核となる新技術を開発します。
【 商標について 】
記載されている製品名などの固有名詞は、各社の商標または登録商標です。
