谷口忠大フェローとパナソニックコネクト株式会社がGPT-4でロボットを操作するシステムを開発

ChatGPTで注目されるOpen AI社が開発したマルチモーダル大規模言語モデル・GPT-4と、外界から得られる観測情報に基づき外界の構造を学習によって獲得するモデルである「世界モデル」を組み合わせてロボットを動かすシステムを、パナソニックコネクト株式会社の黄瀬輝係長と谷口忠大フェローが開発しました。

このシステムではまず人間の指示をGPT-4でロボット用のコードに変換したのち、コードを基に世界モデルNewtonianVAEがロボットの視覚映像等を学習し、ロボット本体とその周辺環境を含むモデルを作ることでロボットの動きを生成します。

本件は2023年6月20日の日刊工業新聞にて紹介されました。 

なお、黄瀬氏は立命館大学大学院情報理工学研究科博士課程前期課程を2020年に修了した本大学の卒業生であり、谷口フェローが主宰する創発システム研究室にて研究活動を行っておられました。本研究は黄瀬氏がパナソニックコネクト株式会社において、パナソニックホールディングス株式会社にクロスアポイントメント契約で勤務する谷口フェローとの共同研究活動に改めて参画され、生み出された成果です。

創発システム研究室の詳細はこちらをご覧ください。