はじめに

“映像に音をつける”とは

• ある音のない映像が与えられた際に、なんらかのプロセスを通して与えられた映像と調和する音を付与すること。

なぜ映像に音をつけるのか

• コンテンツ製作者
• 視覚障がい者

コンテンツ制作の場合

• 課題：編集作業にかかる時間の増加と求められる質の向上
• 解決策：音の候補を提示することで制作工程を削減し、編集作業に集中させる

1. 撮影
2. 編集

映像コンテンツの良し悪しは音と映像の調和度と高い相関がある[1] 1. 岩宮眞一郎：”「音」 がないと映像はつまらん!”, 日本人間工学会大会講演集 日本人間工学会第 50 回記念大会. 一般社団法人 日本人間工学会, pp. 110-111, 2009.

7分の動画を完成させるため、編集作業に6時間かけている 2018年3月19日放送の「プロフェッショナル　仕事の流儀」（NHK）

1. 音がなる物を探す
2. それを使った録音
3. 編集

1. 編集

視覚障がい者の場合

• 課題：他の感覚で代用するための訓練が必要
• 解決策：訓練の必要がなく、かつ自然な音を提示し、ストレスのない生活を実現する

発車メロディには、乗車を促し、注意を喚起するだけではなく、心地よさを演出するという役割も求められる
ITmediaビジネスONLiNE 近距離交通特集：向谷実氏が考える鉄道と音楽（前編）――発車メロディ3つのオキテ (1/3)

映像に音をつける技術

表1. 映像に音をつける技術例

映像から自然な音を”生成する”技術

入出力構造

オプティカルフロー

オプティカルフローとは物体やカメラの移動によって生じる隣接フレーム間の物体の動きの見え方のパターンです
鳥取大学 小山田研究室 > OpenCV-Python Tutorials 1 documentation > OpenCV-Python チュートリアル > 動画解析 > オプティカルフロー(Optical Flow)

出力する音の妥当性

表2. 映像から音を生成する技術の評価結果

• 視覚障がい者支援などの音の忠実さが求められる用途には不向き
• コンテンツ制作支援などの人間による補正が可能な用途には、カテゴリを絞ることで利用は可能

まとめ

• 考えられる用途
  • コンテンツ制作支援（Virtual Reality: VR、映像制作など）
  • 視覚障がい者支援
• 技術の現状
  • DNN とオプティカルフローを組み合わせた方法が提案されている
  • 現状コンテンツ制作支援などの忠実さがあまり求められない用途には応用できる可能性がある

感想

参考文献

1. 岩宮眞一郎：”「音」 がないと映像はつまらん!”, 日本人間工学会大会講演集 日本人間工学会第 50 回記念大会. 一般社団法人 日本人間工学会, pp. 110-111, 2009.
2. Yipin Zhou, Zhaowen Wang, Chen Fang, Trung Bui, and Tamara L. Berg. “Visual to sound: Generating natural sound for videos in the wild.” Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2018.
3. Andrew Owens, Phillip Isola, Josh McDermott, Antonio Torralba, Edward H. Adelson, William T. Freeman. “Visually indicated sounds”, Proceedings of the IEEE conference on CVPR,  pp. 2405-2413, 2016.
4. Konstantinos Vougioukas, Pingchuan Ma, Stavros Petridis, Maja Pantic. “Video-Driven Speech Reconstruction using Generative Adversarial Networks”, arXiv preprint arXiv:1906.06301, 2019.
5. Sungeun Hong, Woobin Im, Hyun S. Yang. “Content-Based Video-Music Retrieval Using Soft Intra-Modal Structure Constraint”, arXiv preprint arXiv:1704.06761, 2017.
6. Soroush Mehri, Kundan Kumar, Ishaan Gulrajani, Rithesh Kumar, Shubham Jain, Jose Sotelo, Aaron Courville, Yoshua Bengio. “SampleRNN: An unconditional end-to-end neural audio generation model.”, arXiv preprint arXiv:1612.07837, 2016.

1. はじめに

1.1　なぜ数値シミュレーションが必要か

1.2　数値シミュレーションの限界

1.3　深層学習を用いた数値シミュレーション

2. 物理法則に基づいた深層学習
(PINN: Physics-Informed Neural Network)

2.1 偏微分方程式の求解[4]

• 万能近似原理[5]により、深層学習が任意の関数を近似できること。
• 自動微分[6]により、出力変数の入力変数に対する全ての微分項が得られること。

1. 入力値 x と t 、出力値 \hat{u} のニューラルネットワークを作成する。
   
2. 学習データは、 t=0 の初期データ u\left(0, x\right) と x= -1 ,\ 1 の境界データ u\left(t,-1\right) 、 u\left(t,1\right) とし、定義域内の選点 u\left(t, x\right) はオプションのデータとする。
   
3. 損失関数は、①微分方程式における平均二乗誤差（各選点fの{loss}_fより）と②初期および境界条件における平均二乗誤差（初期および境界条件における各点uの{loss}_uより）を加算したものとする。
   
   {loss}_f = \left[\hat {u}_t+\hat{u}\hat{u}_x-\left(\frac{0.01}{\pi}\right)\hat{u}_{xx}\right]^2
   
   {loss}_u = \left[\hat{u}-u\right]^2
   
   この\hat{u}は、ニューラルネットワークで得られた予測値である。
   また、 \hat{u}_t、\hat{u}_x、 \hat {u}_{xx} は出力値 \hat{u} の入力値 x と t に対する自動微分により得られた値である。
   
4. 構築したモデルにより、\hat{u}(t,\ x) を予測できる。
   

2.2 偏微分方程式パラメータの探索[7]

1. モデル構造は2.1と同じく、入力 x と t 、出力値 \hat{u} のニューラルネットワークとする。
   
2. 学習データは、定義域内の選点 u\left(t{,} x\right)とする。
   
3. 損失関数は、①微分方程式における平均二乗誤差と②予測値の平均二乗誤差の和とする。つまり、下記の式により算出した各点のlossの平均をとる。
   
   loss =\left[\hat{u}_t + \lambda_1 \hat{u} \hat{u}_x - \lambda_2 \hat{u}_{xx} \right]^2 + \left[ \hat{u}-u\right]^2
   
   
4. 構築したモデルにより、 \hat{u}\left(t{,} x\right)もパラメータの \lambda_1 、\lambda_2も推測できる。
   

2.3　観測値による潜在物理量の探求[8]

1. HFMのモデルでは、ニューラルネットワーク項、微分項、物理法則項が縦列に並んでいる。
   ニューラルネットワークの入力値はt 、x 、y で、出力値は流体の濃度\hat{c} 、濃度の補助変数\hat{d} = 1 - \hat{c} 、速度\hat {u} 、\hat {v} および圧力\hat{p} とする。
   それらの出力値を入力値のt 、x 、y に対して微分をし、物理法則項における誤差e_i を算出する。
   
2. 学習データは訓練ドメイン(図中の桜型)内の点c\left( t, x, y\right)とする。
   
3. 損失関数は①濃度の二乗誤差と②微分方程式の二乗誤差の和とする。つまり、下記の式により算出した各点の loss の総和をとる。
   
   loss = \left[\hat{c}-c\right]^2+\left[\hat{d}-d\right]^2+\sum_{i=1}^{5}e_i
   
   e_i は予測した値を微分し、移流拡散、Navier-Stokes方程式、連続方程式に代入した値である。
   
   e_1 = {\hat{c}}_t + \hat{u}{\hat{c}}_x + \hat{v}{\hat{c}}_y - Pec^{-1} \left({\hat{c}}_{xx} + {\hat{c}}_{yy}\right)
   
   e_2 = {\hat{d}}_t + \hat{u}{\hat{d}}_x + \hat{v}{\hat{d}}_y - Pec^{-1} \left({\hat{d}}_{xx} + {\hat{d}}_{yy}\right)
   
   e_3 = {\hat{u}}_t + \hat{u}{\hat{u}}_x + \hat{v}{\hat{u}}_y+\hat{p}_x - Re^{-1} \left({\hat{u}}_{xx} + {\hat{u}}_{yy}\right)
   
   e_4 = {\hat{v}}_t + \hat{u}{\hat{v}}_x + \hat{v}{\hat{v}}_y+\hat{p}_y - Re^{-1} \left({\hat{v}}_{xx} + {\hat{v}}_{yy}\right)
   
   e_5={\hat{u}}_x+{\hat{v}}_y
   
   ここでも、ニューラルネットワークで得られた予測値を ” \hat{} ” にし、観測値と区別するようにしています。
   
   
4. 構築したモデルにより、濃度\hat{c} 、速度\hat {u} 、\hat {v} 、圧力\hat{p} の経時分布を予測できる。
   

• 拘束条件が分からない状況でも、対象流体の速度、圧力を推測できる。
• 境界壁に囲まれている内部の流れの速度や圧力なども正しく形状を定義せずともに、算出できる。

3.　代理モデル

4.　現在の限界と展望

5.　おわりに

6.　参考文献など

こんにちは、プロジェクト推進部の久良です。 2020年3月に東京大学大学院の物理学研究科にて博士号を取得し、同4月に新卒としてALBERTに入社しました。この記事を執筆している現在は、新卒研修を終えて個別のタスクにアサインされているところです。 今回は物理学における力学系を事前知識として組み込んだニューラルネット (NN) をいくつか取り上げ、そのメリットやデメリット、考えられる応用先を紹介していきます。

なお、本記事の内容は新卒研修の「技術調査課題」で調査した結果であり、同課題において提出した報告書をベースとして執筆されたものです。

はじめに

なぜ力学系の知識を使うのか？

力学とは、自然界に存在する「ものの動き方」を研究する学問です。 この「もの」はビリヤード球のような剛体だけでなく、電子や電波、空気のような自然界に存在するさまざまな対象を指します。扱う対象によって力学は「剛体力学」「波動力学」「流体力学」など様々に枝分かれしますが、「もの」の動きを時間 t に関する微分方程式で記述できることは基本的に共通しています。 このような方程式を解いて「ものの動き」を調べることは、理論的にも実用的にも、避けては通れない重要な課題です。

それでは、なぜ方程式を解くためにNNを用いる必要があるのでしょう？

従来、解析的（記号的）に解くことのできない力学の方程式はコンピューターによる数値計算で解いていました。理論的には、方程式のパラメーターと時刻 t=0 における初期状態さえ決まっていれば、数値計算により任意の時刻 t における物体の状態を求めることができます。

しかし、現実の力学系を相手にする場合、数値計算では対応できないケースが存在します。 例えば、方程式のパラメーターが分からない場合です。 そのような場合、力学系を観測して得られたデータに基づいて、方程式のパラメーターを推定する必要があります（逆問題）。 逆問題は簡単に解けるケースもありますが、複雑な方程式に対してはパラメーターをトライ＆エラーで変化させて何回も方程式を解いていくしかない場合もあります。 しかし、膨大なパラメーターの組み合わせの一つ一つに対して丁寧に時間変化を追跡していくことは、非常に大きな計算コストがかかります。

機械学習、とりわけ教師あり機械学習の手法は、観測データからシステムの中身を推定するというタスクに優れています。 そこで、観測データに基づいて方程式のパラメーターを推測し、その方程式を解いて「ものの動き」を予測する、といったタスクに対しては、NNをはじめとした機械学習を活用する価値が十分にあります。

一般論として、効率的な学習のためには、目的となる関数がどのような性質を持つのかについての知識が有用となります。 一例として、ピクセル間の相対的な位置が重要となる画像認識の問題においては、相対的な位置の情報を効率的に学習できる畳み込みNN (CNN) が主要なツールとなります。 同じように、学習の対象が何らかの「ものの動き」である場合には、そういった「ものの動き方＝力学」の法則を事前知識としてNNに組み込んでおくことで、正しい「ものの動き」を効率的に学習することができます。

この記事について

本記事では、物体の運動を学習する問題において、NNに力学系の情報を組み込んで学習させる試みについていくつか紹介し、その中でもハミルトニアンNNとラグランジアンNNを重点的に取り上げます。 これらは解析力学とよばれるフレームワークを用いたNNで、学習対象に関する詳細な知識が不要であるという点で他の力学系を用いるNNとは大きく異なります。とくに、

• 物理法則に従った物体の運動は必ず表現することができる
• エネルギー保存則などの基本的な法則に反した運動を学習することはない

という点において、物体の運動を学習するためのツールとして非常に優れているといえます。 これらのNNの応用例として、ハミルトニアンNNを利用した力学系の秩序状態・無秩序状態の予測や、ラグランジアンNNを利用したロボットアームの制御アルゴリズムを紹介します。

NNによる力学系の分類

力学系は偏微分方程式によって記述されます。 電磁気学ならばマクスウェル方程式やポアソン方程式、波動力学ならばKdV方程式やKP方程式といった具合です。 その分野の幅広い状況で使える方程式もあれば、限定された場面でのみ効果を発揮する方程式もあります。 ですから、どのような方程式をNNの事前知識として用いるかによって、そのNNを用いた機械学習の応用可能性も違ってきます。

そこで、用いる方程式の具体形や汎用性などによって、力学系を用いたNNを3種類に分類します：

• 具体的な微分方程式を一般的に解く “NN-based PDE solver”
• 時空間に関する微分方程式を解く “Physics-informed NN”
• 剛体力学における抽象的な方程式を解く “解析力学的NN”

注意点として、あるNNが他のNNよりも「汎用性が高い」あるいは「制約が強い」といった包含関係が成立するわけではありません。 対処したい問題に応じて適切な NN を選択する必要があります。

1. NN-based PDE solver

第1の分類は、微分方程式に含まれる既知関数を入力とし、対応する微分方程式の解を出力するようなNNです。 一度学習させてしまえば同じ形の方程式すべてに対して解の予測ができるため、方程式の適用範囲が広ければ広いほど汎用性の高いNNとなりえます。 一方で、パラメーターの数が非常に多いことから、理論的提案[1]はありましたが近年まで実装はされていませんでした。

Tompsonらは効率的な流体シミュレーションを行う目的で、ポアソン方程式 \displaystyle \Delta u(x) = f(x) をCNNで解くことを提案しました。 ポアソン方程式は物理学の随所に現れる重要な方程式であり、 f(x) が与えられれば（適切な境界条件の下で）数値計算により u(x) を求めることが出来ます。しかし、既存の数値計算手法は精度が高い反面、時間的・空間的コストが高いことが課題でした。

そこで、既存手法により得られた f(x) と u(x) の組を教師データとしてNNを訓練し、新たな入力 f(x) に対して u(x) が出力できるようにします。 このようにすることで、新たなデータに対する数値計算のコストを抑えつつ、既存手法で導かれるような高い精度の解をNNで再現できることが期待されます。 また、関数 f(x) および u(x) はグリッド状に離散化されたデータとして入出力することになるため、CNNを用いるのが適しています。

CNNがポアソン方程式の解を上手く学習できるためには、微分方程式のもつ局所的な性質と、境界条件のもつ大域的な性質の両者が重要になります。 論文 [2] 中では図1のようなネットワークが構成されました。これは様々なスケールにダウンサンプリングされた関数データをアップサンプリングして結合するCNNであり、Deep-ResNetをはじめCNNで頻繁に用いられるアイデアです。

論文 [2] 中ではこのCNNを用いた場合の解の精度が検証され、同程度の時間的コストを要する数値計算と同等あるいはそれ以上の精度が達成されたことが報告されています。

2. Physics-Informed Neural Network

第2の分類は、以前のブログ記事でも紹介されていた Physics-Informed Neural Network (PINN) というものです。 微分方程式そのものを損失関数としてハードコードし、微分方程式の解 u(t, x) の関数形を学習するのが PINN の特徴です。

波動力学や量子力学などでは、物理量 u(t, x) の満たすべき方程式は u の時間微分 \dot{u} = \partial u/\partial t を含む偏微分方程式として書き表されます。たとえば、 \displaystyle \dot{u} = \frac{\partial^2 u}{\partial x^2} - u\frac{\partial u}{\partial x} のように完全に既知の場合もあれば、 \displaystyle \dot{u} = \lambda_2\frac{\partial^2 u}{\partial x^2} - \lambda_1 u\frac{\partial u}{\partial x} のようにモデル変数 λ を含む場合もあります。 PINNは、このような時空間に関する偏微分方程式の解 を学習するのに有効な手法です。 Raissiら [3,4] はバーガース方程式やKdV方程式など、波動力学における主要な方程式に対してこの手法を用いました。

まず、微分方程式\dot{u} = \mathcal{N}[u]が完全に既知の場合を考えます。このとき、境界上における u(t, x) の値を教師データとして与えれば領域上の関数 u の値は決定されます。 そこで、このNNの出力 u* に対する損失関数を

• 領域内部における \dot{u}^\ast - \mathcal{N}[u^\ast] のL2ノルム
• 境界上における u^\ast(t, x) - u(t, x) のL2ノルム

から構成することで、出力 u* が求める微分方程式の解 u に近くなるように最適化されます。

微分方程式がモデル変数 λ を含む場合、境界条件だけではモデル変数を決定できないため、境界上以外のサンプル点に対しても教師データを与える必要があります。 また、λ は学習のハイパーパラメーターになるため、グリッド探索などの方法でハイパーパラメーターを最適化するか、ガウス過程を用いて損失関数を含めた全体をベイジアンモデルで書き換えるなどの工夫が必要になります。

3. 解析力学的NN (仮称)

最後に紹介するのが、ハミルトン形式やラグランジュ形式などの解析力学を利用することで、一般の剛体力学系における物体の運動を予測することができるNNです。 エネルギー保存則などの基本的な性質さえ満たしていれば、具体的な力学的変数の詳細が分からない場合でも予測が可能であるという点で一般性の高いNNです。 本記事では、この解析力学的NNについて詳しく調査結果を述べていきます。

最後に、本節で取り上げた3種類のNNの対比をまとめておきます：

解析力学について

解析力学とは、質量や慣性モーメントといった特定の力学変数に頼らない形で物体の運動を記述する力学のことであり、ハミルトン形式とラグランジュ形式の2種類の方法で記述されます。

ハミルトン形式

1次元空間のハミルトン方程式は、正準変数とよばれる変数の組(q, p)を用いて \displaystyle \begin{cases} \dot{q} = \frac{\partial H}{\partial p} \ \dot{p} = -\frac{\partial H}{\partial q} \end{cases} と書き表せます（上付きの点は時間微分を表す）。関数H=H(q,p)はハミルトニアンと呼ばれ、力学系全体のエネルギーを表します。 このとき、ハミルトニアンの時間微分は \displaystyle \dot{H} = \dot{q}\frac{\partial H}{\partial q} + \dot{p}\frac{\partial H}{\partial p} = 0 となるため、 H は時間変化しない定数となることが分かります（エネルギー保存則）。 D次元空間の場合の正準変数(q_j, p_j)はそれぞれがD次元ベクトルとなりますが、 H は空間の次元によらずスカラー関数です。

正準変数(q, p)はそれぞれ位置と運動量として解釈することができます。 例えば、質点系におけるハミルトニアンは質量 m とポテンシャル V(q) を用いて H = \frac{1}{2}m\dot{q}^2 + V(q) と表せるため、これをハミルトン方程式に代入して p を消去すると \displaystyle m\ddot{q} = -V'(q) となり、これは有名なニュートンの運動方程式 F=ma と一致します。

一方で、ハミルトン方程式の正準座標は実際の位置と運動量である必要はありません。例えば、 q と p の代わりに角度 θ と角運動量 L を用いて \displaystyle \begin{cases} \dot{\theta} = \frac{\partial H}{\partial L} \ \dot{L} = -\frac{\partial H}{\partial \theta} \end{cases} とすると、これは物体の回転運動を記述するオイラー方程式に対応します。このように、力学系を記述する正準変数(q, p)を別の正準変数(Q, P)に取り替えても、依然として同じ形の方程式を立てられるのがハミルトン力学の特徴です。なお、詳細は割愛しますが、新しい正準変数(Q, P)に関してはどのような選び方も許容されるわけではないことを付記しておきます。

ハミルトン方程式について短くまとめると以下のようになります。

• 正準変数(q, p)およびハミルトニアン H で記述される。
• ハミルトニアン H はエネルギーに対応し、時間変化しない。
• 正準変数(q, p)の選び方は無数に存在する。

ラグランジュ形式

ラグランジュ形式とハミルトン形式は、同じ力学系を別の表現で記述したものです。ラグランジュ形式では正準変数ではなく、一般化座標とその時間微分 (q, \dot{q}) を用います。

ラグランジュ方程式は \displaystyle \frac{d}{dt}\left(\frac{\partial L}{\partial \dot{q}}\right) = \frac{\partial L}{\partial q} と書き表され、通常これは q に関する 2階の微分方程式になります。 L=L(q, \dot{q})はラグランジアンと呼ばれる関数ですが、 ハミルトニアンと異なりその値はエネルギーなどの物理的な意味を持たず、 時間変化しないといったような便利な性質も持ちません。

上記の理由から、剛体力学ではラグランジアンをより具体的な表現で表すことが多いです。慣性行列 M(q) およびポテンシャル V(q) を用いると、一般的なラグランジュアンは \displaystyle L = \frac{1}{2}\dot{q}^T M(q)\dot{q} - V(q) となります。慣性行列は質量を一般化した概念であり、一般化位置 q に依存する正定値行列になります。 さらに、この表現をラグランジュ方程式に代入することで2階の微分方程式 \displaystyle M(q)\ddot{q} + C(q, \dot{q})\dot{q} + G(q) = 0 が得られます。コリオリ行列 C(q, \dot{q}) および力場 G(q) はそれぞれ M(q) と V(q) から計算することができます。 この方程式は制御工学などでよく用いられます。

ハミルトニアンNN

ハミルトニアンNNはGreydanus, Dzamba & Yosinskiによって2019年に提案された比較的新しい手法です[5]。 力学系を支配するハミルトニアンをNNで推定することで、任意の時刻における物体の運動を間接的に予測します。 そのため、エネルギー保存則の成り立つ系を効率的に学習できることがハミルトニアンNNの特徴です。

ベースライン

物体の運動を予測する問題として、以下のような仮想課題を考えます：

摩擦や抵抗を受けずに運動する物体の位置 x_t が1秒ごとに記録されている。 記録開始からT秒後までの位置 x_0, x_1, \dots, x_T を入力したとき、 n 秒後の物体の位置 x_{t+n} を予測せよ。

この問題は物理系の知識を用いずとも、時系列データの予測問題として取り扱うことができます。NNを用いる場合、m 秒前までの位置 x_{T-m}, \dots, x_{T}を入力とし、n 秒後の位置の予測値 x_{T+n}^\ast を出力とするようなネットワークを設計し、 損失関数 \mathcal{L} = \left\lVert x_{T+n}^\ast - x_{T+n}\right\rVert _2 を最小化するように学習を行います。

しかし、この学習方法には2つの問題があります。まず、遡る秒数 m は学習のハイパーパラメーターとなり、何らかの方法で適切な値を選択する必要があります。次に、得られた予測モデルはエネルギー保存則を満たしている保証はないため、 一定時間後に物体が静止してしまう、あるいは逆に超高速で飛び出してしまうといった不安定な予測モデルを学習してしまうおそれがあります。

ハミルトニアンNN

物理学の知識を活用すれば、より効率的な学習方法を設計することができます。 剛体力学における運動方程式は2階の微分方程式で表されるため、2点の時刻における位置情報が与えられれば物体の運動を決定することができます。すなわち、入力する位置情報は x_{T-1}, x_T で足りることがわかります。

そこで、時刻 t における力学系の正準変数を \displaystyle \begin{cases} q_t = x_t \ p_t = x_t - x_{t-1} \end{cases} というように定義します。 ここで運動量pを速度（の近似値）で代用していますが、単純な力学系においてはこの差異は問題となりません。 ネットワークはこの正準変数(q, p)を入力とし、ハミルトニアンH^\ast = H^\ast(q, p)を出力とするように設計されます。 このとき、n 秒後の正準変数(q_{T+n}^\ast, p_{T+n}^\ast)は離散化されたハミルトン方程式 \displaystyle \begin{cases} q_{t+1} - q_t = \frac{\partial H^\ast}{\partial p}(q_t, p_t) \ p_{t+1} - p_t = -\frac{\partial H^\ast}{\partial q}(q_t, p_t) \end{cases} に従って予測することができ、NNの損失関数はハミルトンの方程式の誤差、すなわち \displaystyle \mathcal{L} = \left\lVert q_{T+1} - q_T - \frac{\partial H^\ast}{\partial p}\right\rVert_2 + \left\lVert p_{T+1} - p_T + \frac{\partial H^\ast}{\partial q}\right\rVert_2 となります。

ハミルトニアンNNでは推定されたハミルトニアンH*に基づいて運動を予測するため、ハミルトニアンの推定誤差の範囲内でエネルギー保存則が成立することが保証されます（ただし、リープフロッグ法などの数値積分法を用いて数値誤差の蓄積を防ぐ必要がある）。 このため、運動の停止や異常な加速などといった物理的に望ましくない予測を防ぐことができます。

逆伝播法の利用

物理学の観点から見ると、通常の数値計算手法には「ハミルトン方程式に登場する偏微分\frac{\partial H}{\partial q}, \frac{\partial H}{\partial p}を精度よく計算できない」という課題がありました。 ハミルトニアンNNにおいては、逆伝播法を用いて偏微分を容易に計算できるというメリットがあります。 通常のNNではネットワークの更新に際して逆伝播法を用いることが多いですが、ハミルトニアンNNではハミルトニアンから運動を予測するときに必要になります。その意味では、ハミルトニアンNNにおいては逆伝播法はより重要な役割を果たしていると言えます。

なお、ハミルトニアンNNの損失関数の勾配を計算する場合は、元のハミルトニアンのヘッセ行列を計算する必要があります。ノードの数が多い複雑なネットワークを用いる場合は、計算量を抑えるために実装を工夫する必要があります[6]。

自己符号化器の利用

ここまでで取り扱ったハミルトニアンNNは、位置や角度といった力学的変数を入力として与える必要がありました。 しかし、物体を撮影した画像や動画などの観測データから位置や角度を手作業で特定することはコストがかかります。 そこで、NNの一種である自己符号化器 (AE) の特性を活用することで、直接観測データから運動の結果を予測することが考えられます。

画像などの観測データは変数が多く、そのまま力学的なパラメーターとして扱うことは困難です。 しかし、物体の観測データは少数のパラメーターで特徴づけられていることが多いため、それらの変数を力学的なパラメーターとして扱えることが期待できます。 そこで図4のように、連続する2枚の画像データ (X_{t-1}, X_t) をAEで圧縮して正準変数(Q_t, P_t)を抽出することを考えます。 AEで抽出した特徴量は必ずしも正準変数に対応しているとは限りませんが、例えばハミルトニアンNNの損失関数をAEにも還元することで、力学系の正準変数を抽出するようにAEが最適化されることが期待できます[7]。

こうして得られた正準変数は位置や運動量のような明確な意味をもつ力学的変数となるとは限りませんが、そのような抽象的な変数であっても運動を記述できることがハミルトン方程式の利点です。 あとは前述したハミルトニアンNNによって n 秒後の正準変数 (Q_{T+n}^\ast, P_{T+n}^\ast)を予測した後、AEのデコーダー部分を用いて観測データの予測 X_{T+n}^\ast を得ることができます。

ラグランジアンNN

ハミルトン形式の代わりにラグランジアン形式を利用したNNも提案されています [8–10]。 ハミルトニアンNNがエネルギー保存則の成立する「閉じた力学系」において有用であるのに対し、ラグランジアンNNは外力による制御が可能な「開いた力学系」に対してより高い効果を示します。

パラメーター u で制御された外力の項を加えると、ラグランジュ形式から導かれる運動方程式は \displaystyle M(q)\ddot{q} + C(q, \dot{q})\dot{q} + G(q) - \tau(q, \dot{q}, u) = 0 となります。ラグランジアンNNでは一般化座標 q を入力とし、 慣性行列 M と力場 G を出力とするようなネットワークを設計します （コリオリ行列 C は M の偏微分から計算できます）。 実際には M を直接出力するのではなく、コレスキー分解 M(q) = L(q)L(q)^T の下三角行列 L(q) を出力します。 こうすることで「慣性行列が正定値である」という力学系の性質を事前知識として取り入れ、現実と整合しない解を排除することができます。

制御問題においては、力学系を予測するNNのパラメーターだけでなく、 一般化座標 q を望ましい状態に保つための制御パラメーター u をも学習する必要があります。 学習の際の損失関数は次の2つから構成されます：

• 予測に関する誤差。図5 のような計算グラフで計算された運動方程式の左辺値が 0 からどれだけ離れているかで表せる。
• 制御に関する誤差。微分方程式に基づく一般化座標の予測値 q^\ast が望ましい状態からどれだけ離れているかで表せる。

ラグランジアンNNを用いて制御問題を学習する場合（図6）、まず観測された一般化座標から運動方程式の左辺値を計算し、その値が 0 に近づくようにNNのパラメーターを更新します。次に方程式から一般化座標の予測値を計算し、その値がより望ましくなるように制御パラメーターを更新します。

応用例

執筆現在、解析力学を組み込んだNNは比較的新しいアイデアです。 そのため、二重振り子系やCartPole課題のような典型的な力学系に対する 予測および制御の数値的シミュレーションが多く行われている段階です。

本記事では、その中でも興味深い研究を2つ紹介します。 1つは理論物理学的な側面が強い研究で、力学系が長時間の運動でカオスに移行するかを予測するのにハミルトンNNを用いています。 もう1つの研究はより実用に近く、ラグランジアンNNによるロボットアームの制御性能をシミュレーションと実機により検証しています。

力学系のカオス性予測

物体の運動は微分方程式により決定されますから、初期状態を入力すれば理論的にはその後の軌道は完全に予測することができます。 しかし、力学系によっては初期状態のわずかな誤差が予測不能なほど大きなエラーを生み出してしまうことがあり（バタフライ効果）、そのような力学系をカオスと呼びます。 カオスの有無は予測や制御の難しさに直結する重要な問題ですが、バタフライ効果の観察には長時間の運動が必要となるため、力学系がカオスか否かを短時間の観測から判定することは困難です。

そこで、Choudharyら [11] は力学系のカオス性の予測をハミルトニアンNNによる分類問題として取り扱うことを提案しました。 エネルギー保存則などのハミルトン力学の諸性質はカオスの有無とも密接に関わる重要な性質のため、ハミルトニアンNNを利用することでカオスの予測精度が向上すると期待されました。

論文中では、対象となる力学系として、天体運動や分子運動のシミュレーションに用いられるエノン＝ヘイルズ系 \displaystyle H(q, p) = \frac{(p_1^2 + p_2^2) + (q_1^2+q_2^2)}{2} + q_1^2q_2-\frac{q_2^3}{3} が選ばれました。この力学系はエネルギーによりカオス性が変化するため、 NNの目標はその変化を正しく検出することに設定されました。 ハミルトニアンNN（HNN）のほかに、正準変数から時間変化を直接予測するNNが設計され、同じ学習データの下での予測性能が比較されました。

比較の結果を図7に示します。どちらのNNでも予測された軌道に基づき、共通の手法でカオス性を判定しています。 しかし、ベースラインのNN（緑）がカオス性をほとんど検出できていないのに対し、 ハミルトニアンNN（桃）は高い精度で真値（青）を予測できており、非カオスとカオスの境目となる E=0.10 付近の部分も正しく再現していることが分かります。

この論文で取り扱われたエノン＝ヘイルズ系は2次元空間の力学系であるため数値計算も容易ですが、より高次元の力学系に対するカオス予測に対する数値計算は急激に困難になります。 そのような複雑な力学系に対するカオス予測が確立されれば「設計したシステムの制御可能性を少ないデータから正確に判定する」といった実用性の高いタスクに応用されることが期待されています。

ロボットアームの制御

Lutter, Ritter & Peters の論文 [9] では、ラグランジアンNNを用いたロボットアームの制御問題を検証しています。

従来のロボットアーム制御は、ニュートン方程式やオイラー方程式などを組み合わせた運動方程式を用いた数値計算で行っていました。 このためには、ロボットアームのパラメーターを関節の位置や質量、慣性モーメントなどの具体的な力学変数に変換し、それを用いてロボットアーム固有の運動方程式をハードコードする必要がありました。 しかし、ラグランジアンNNはパラメーターを一般化座標として扱い、具体的な力学変数に変換することなく運動方程式を学習します。そのため、どのようなロボットアームに対してもハードコードをやり直さずに対応できるというメリットがあります。

Lutterらは7自由度のロボットアーム WAM を用いて、数値シミュレーションおよび実機による実験を行いました。 このとき、テストデータのアーム速度を学習時のものより速くすることで汎化性能を調べています。 ラグランジアンNNの制御精度を、力学系の知識を用いない一般的な制御問題のNNと比較した結果が図8です。

WAM の数値シミュレーション(c)(d)においては、ラグランジアンNN（赤）が従来の数値計算（紫）およびベースラインNN（青）よりも精度が高いことが分かりますが、実機実験(e)(f)においてはラグランジアンNNの精度が低いことが分かります。 これに関して、Lutterらはロボットアームがケーブルに引っ張られる効果が剛体力学で記述できないことが原因であると推測しています。 一方、ベースラインNNでは速度を上げたテストデータに対する制御精度が急激に落ちている一方、ラグランジアンNNでは制御精度の低下が比較的緩やかであることが見て取れます。これは、ラグランジアンNNの方が力学系の記述に特化しているため、力学系の範囲内における汎化性能がベースラインより高いことを示唆しています。

おわりに

解析力学的NNの課題

ここまで、解析力学的NNが理論物理学やロボット工学に応用可能であることを見てきました。 逆に、現時点では解析力学的NNには適していない力学の問題も確かに存在します。

時間の巻き戻しが可能な「可逆系」しか取り扱えない

ハミルトン形式やラグランジュ形式で書き表せる系は「可逆系」といって、時間を反転させても同じ方程式で記述することができるという特徴があります。 そのため、摩擦や抵抗といった散逸力が存在する場合や、確率的に運動が変化する場合などの「不可逆系」を解析力学的NNで取り扱うことができません。 ただし、より広範囲をカバーする力学系を用いれば学習できる可能性はあります [12]。

力学系モデルが既知の場合に比べて学習のコストは高くなる

解析力学では、質量や慣性モーメントのような具体的な物理変数を推定する代わりにハミルトニアンのような関数を推定します。 これにより非常に広い状況で学習が可能ですが、一般論として、変数にくらべて関数は推定のコストが大きいです。 したがって、解析力学的NNはワンオフの力学系を学習する場合には効果的ですが、類似した力学系のデータが多数あるような状況では、先に具体的な物理変数を用いて力学系のモデルを構成したほうが効率的だと考えられます。

まとめ

本記事においては、力学系を用いて「ものの動き」を予測するさまざまな問題に対して、力学系の知識を用いた NN が用いられる例を調査しました。 その中でも、とりわけ可逆な剛体力学に対して高い効果を発揮する解析力学的NN（ハミルトニアンNN、ラグランジアンNN）を詳細に取り上げ、逆伝播法や自己符号化器といったNNのツールと組み合わせて活用されていること、またカオス理論やロボットアーム制御への応用が行われていることを報告しました。

解析力学を利用したNNの設計はまだ比較的新しい研究であり、今後ロボット工学を中心とした実用面において従来的なNNを上回る精度と汎用性を達成できるのかが焦点となりそうです。

物理学と機械学習理論の相互理解が双方の分野の発展に繋がっていくことは確実だと考えています。今まで物理学を研究してきた過程で、統計力学をはじめとした物理学の理論がNNの構造と密接に関わっていることは知っていました。今回の調査では、より直接的に物理学の知識をNNに適用することによって、力学系の予測や制御に関する問題を汎用的かつ効率的に解く技術について学びました。とくに、解析力学の手法やアイデアが逆伝播法や自己符号化器といったNNのツールと非常に相性がよいことに感銘を受けました。今後、力学系を事前知識として用いたNNがいかに発展していくかは、NNのツールのもつ強みと力学系の特長をいかに上手に組み合わせることが出来るかに掛かっているでしょう。

ALBERTでは最先端の技術を扱うメンバーを募集しています。 興味をお持ちいただいた方は、こちらまでお問い合わせください。

参考文献

1 はじめに

2 物体の三次元表現とは？

• ボクセル
  ボクセルはピクセルの三次元への拡張です。ボクセルの集合を三次元配列で表すことで三次元表現を得ます（図1）。配列の各要素には、色や輝度など、そのボクセルの持つ属性が格納されます。それ以外にも例えば、CTスキャンではX線の吸収率が格納されたり、超音波検査密度や流速変化率が格納される場合もあります。ボクセルを細かくすればより精細な表現を得られますが、メモリが3乗に比例して増大するのがデメリットです。
• 点群
  点群は三次元上の点の集まりとして三次元表現を得ます（図2）。点群は3Dスキャナー、センサーや深度カメラから直接得らえることの多いデータ形式です。点群それ自体はあまり使われず、様々な後処理をして応用されることが多いです。点の情報だけを保存すればよく、ボクセルに比べてメモリ効率は良いです 。
• メッシュ
  メッシュは頂点と面の張り合わせで三次元表現をします（図3）。面にテクスチャを貼りつけたりしてリアルな質感表現が可能なため、ゲームや映画のCGなどに広く応用されています。また頂点と面の情報を保持すればいいので、メモリ効率も良いです。一方で、ボクセルや点群と比べてデータ構造が複雑で、人手での制作コストがとても大きいです。

3 ニューラルネットワークによる三次元表現

• 二次元画像からの三次元図形の再構成
• 点群データからボクセルやメッシュによる三次元表現の獲得の自動化
• 複数の三次元図形間の補間
• 敵対的生成モデルによる三次元図形の生成

4 陰関数表示による三次元図形の表現

5 IM-NET

5.1 IM-NETと他手法の組み合わせ

5.2 応用

オートエンコーダの学習回数削減

5.3 敵対的生成モデルによる三次元図形の生成と補間の精度向上

ネットワーク詳細

• Occupancyを学習するようにして三次元表現を獲得
• IM-NETは従来手法のDecoder部分に置き換わることで様々なタスクに汎用的に応用が可能である
• Code特徴量により潜在空間を表現し、ひとつのモデルで複数の三次元図形を表現することができ、

DeepSDF

Encoder-less learning

Code推定による三次元図形推定

まとめ

参考文献

1. 概要

Steerable CNNs とは

• 高精度である。WideResNet をベースにしたネットワークが CIFAR-100 でエラー率 18.82\% と、当時の最高精度を出した。
• 上記の精度は、水平反転と平行移動のみのデータオーグメンテーションで達成した。
• 少ないパラメータ数である。ResNet50 が 2000 万程度、2019 年 5 月現在最高精度の AmoebaNetB は 5.5 億程度あるのに対し、WideResNet ベースのネットワークは 920 万ほどで済んでいる (ただし、その後 EfficientNet-B0 では 400 万程度のパラメータで transfer-learning を使って より低いエラー率を出すなど CNN 自体もさらに進歩しています)。

2. 用語説明

2.1. 群

2.2. 群の作用と群の表現

• G の任意の元 g, h とV の任意の元 v に対して (g\cdot_G h)\cdot v=g\cdot(h\cdot v),
• G の単位元 e とV の任意の元 v に対して e\cdot v= v

• G の任意の元 g, h に対して \pi(g\cdot_G h)=\pi(g)\circ\pi(h) (\circ は写像の合成),
• G の単位元 e に対して \pi(e)= \mathrm{id}_V (\mathrm{id}_V は恒等写像)

• Instance SegmentationタスクにおいてSingle-shotでProposal-freeな手法を提案し、SOTAを達成
• Semantic Segmentation と、ピクセル間の関係性を表すAffinity pyramidによりInstance Segmenationを実現
• 階層構造を用いることで、５倍のスピードアップと９%のAP精度向上を達成。

はじめに

画像識別タスクの基礎知識

SSAPのモデル構造

Affinity

階層的なAffinity (Affinity Pyramid)

階層的なグラフ分割(Cascaded Graph Partition)

階層構造

Segmentation Refinement

はじめに

対話応答生成について

• 発話X:
  　家にいる時は何をしていますか。
• 応答Y:
  　よく音楽を聴きます。

• 発話X(トークン):
  　家　に　いる　時　は　何　を　し　て　い　ます　か　。
• 応答Y(トークン):
  　よく　音楽　を　聴き　ます　。

• 形態素分割例(MeCab IPADIC):
  　家　に　いる　時　は　何　を　し　て　い　ます　か　。
• sentencepiece例(1):
  　家に　いる　時は　何を　して　います　か　。
• sentencepiece例(2):
  　家にいる　時は　何を　して　いますか　。

P(Y \mid X) = \prod_{t=1}^T P(y_t \mid x_1, x_2, …, x_n, y_1, y_2, …, y_{t-1})

Transformer について

• 発話X(トークン):
  　家に　いる　時は　何を　して　います　か　。
• 辞書:
  　{ “家に”: [0.1, 0.2, 0.3],
  　 “いる”: [0.3, -0.2, 0.1],
  　 …,
  　 “。”: [1.0, 1.0, 1.0],
  　 “よく”: [0.1, 0.1, 0.1],
  　 … }
• 発話X(3次元):
  　[[0.1, 0.2, 0.3], [0.3, -0.2, 0.1], …, [1.0, 1.0, 1.0]]

PE(pos, 2i) = sin(pos/10000^{2i/d_{model}})

PE(pos, 2i+1) = cos(pos/10000^{2i/d_{model}})

Attention(Q, K, V) = softmax(\frac{QK^T}{\sqrt{d_k}})V

head_n = Attention(Q_{n}W^Q_{n}, K_{n}W^K_{n}, V_{n}W^V_{n})

MultiheadAttention(Q, K, V) = concat(head_1, …, head_n, …, head_N)W

対話文脈への適用

Embed_{sentence} = \frac{\sum_{n=1}^{N} w_n}{\sqrt{N}}

対話応答生成モデルの制御方法

■人気動画ランキング

・第5位

・第４位

・第３位

・第２位

・第１位

■参加者の声

■今後の採用活動について

◆ 内定式

・役員からの祝辞（ビデオメッセージ）

・内定者 自己紹介

◆懇親会

・内定者 1on1

・ALBERTクイズ

◆ 参加者の感想

◆まとめ

• ∗1 先進技術セクション新設と研究プロジェクトリーダー募集開始のお知らせ
• ∗2 SSAP [Proposal-freeなInstance Segmentation手法] の紹介と実験
• ∗3 動画認識手法の紹介とキャプション生成手法Masked Transformerについての解説
• ∗4 三次元空間のニューラルな表現とNeRF
• ∗5 ICPアルゴリズムとは
• ∗6 3次元データ取得方法

• †1 NVIDIA A100 TENSOR コア GPU
• †2 NVIDIA DGX A10
• †3 NVIDIA Deep Learning Examples for Tensor Cores
• †4 NVIDIA Data Center Deep Learning Product Performance

データ活用で産学連携を支援

はじめに

3次元データ表現について

SDF

• 点群: 物体を構成する頂点のみによってデータのおおよその形を表します。
• メッシュ: 点群に頂点同士の結びつき(面)を加えることでデータを表します。
• ボクセル: 3次元の空間を細かなブロックに区切り、ブロック単位で物体の領域を表します。
• SDF(Signed Distance Field;符号付き距離場): 3次元空間の各座標に、そこから最も近い物体表面までの符号付き距離を割り振ることで、距離が0となる部分を表面として表します。座標に距離を割り振る関数もSDF(Signed Distance Function)と表記されます。

点群データからの陰関数表現学習

実験

使用データ

使用モデル: SIREN

\mathbf{y}^{(l)} = \sin (\mathbf{W}^{(l)} \mathbf{y}^{(l-1)} + \mathbf{b}^{(l)})

\sin'(\mathbf{y}^{(l)}) = \cos (\mathbf{y}^{(l)}) = \sin (\mathbf{y}^{(l)}+\frac{\pi}{2})

\displaystyle L_{sdf}= \int_{\Omega} \lVert \lvert \nabla_{\mathbf{x}} \Phi(\mathbf{x}) \rvert - 1 \rVert d\mathbf{x} + \int_{\Omega_0} \{ \lVert \Phi(\mathbf{x}) \rVert +(1 - \langle \nabla_{\mathbf{x}} \Phi(\mathbf{x}) , \mathbf{n}(\mathbf{x})\rangle)\} d\mathbf{x} + \int_{\Omega \backslash \Omega_0} \psi(\mathbf{x}) d\mathbf{x}

\psi(\mathbf{x}) = exp(-\alpha \cdot |\Phi(\mathbf{x})|) , \alpha \gg 1

1. 全ての点xにおける勾配の大きさは1とする 
2. 表面上の点xの距離\Phi(\mathbf{x})を0とし、xにおける勾配は法線ベクトルn(x)に合わせる 
3. 表面以外の点xにおける距離\Phi(\mathbf{x})は0とならない 

f(\mathbf{x}) = \underset{\mathbf{y} \in S}{\min} || \mathbf{x} - \mathbf{y} ||_2

L_{UDF} = | |f_\theta(\mathbf{x})| - f(\mathbf{x}) |

学習データのサンプリング

モデル分割

点群復元アルゴリズム

1. ある程度の解像度を持つグリッド(BB)をモデルに与え、モデルによる予測距離f(\mathbf{p})が\delta以下である点P_{init}のみを残します。
2. 不正確なUDF予測に対応するため、P_{init}に対してnum_steps回だけ勾配を利用した座標修正を行います。この時点では距離に基づいて最低限の点群が生成されています。
3. より密な点群を生成するためにP_{init}の各座標に対して、\frac{\delta}{3}を分散としたガウス分布サンプリングを足し合わせて水増しを行い、点群P_{dense}を生成します。
4. P_{dense}についても勾配を利用した座標修正をnum_steps回行います。

評価方法

CD(S_1, S_2) = \frac{1}{|S_1|} \underset{\mathbf{x} \in S_1}{\sum} \underset{\mathbf{y} \in S_2}{\min} || \mathbf{x} - \mathbf{y} ||^2_2 + \frac{1}{|S_2|} \underset{\mathbf{x} \in S_2}{\sum} \underset{\mathbf{y} \in S_1} {\min} || \mathbf{x} - \mathbf{y} ||^2_2

結果

表2: 各モデルにおける詳細情報

	確認ポイント①	確認ポイント②
元データ
単体 モデル
領域分割 モデル
単体 モデル (300^3)

まとめ

参考文献

1. [1] Jeong Joon Park, Peter Florence, Julian Straub, Richard Newcombe, Steven Lovegrove: “DeepSDF: Learning Continuous Signed Distance Functions for Shape Representation”, Proc. the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2019, pp. 165-174.
2. [2] Matan Atzmon, Yaron Lipman: “SAL: Sign Agnostic Learning of Shapes From Raw Data”, Proc. the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2020, pp. 2565-2574.
3. [3] Vincent Sitzmann, Julien N.P Martel, Alexander Bergman, David Lindell, Gordon Wetzstein: “Implicit Neural Representations with Periodic Activation Functions”, Proc. NeurIPS, 2020.
4. [4] Thomas Davies, Derek Nowrouzezahrai, Alec Jacobson: “Overfit Neural Networks as a Compact Shape Representation”, arXiv: 2009.09808v2.
5. [5] Emilien Dupont, Adam Goliński, Milad Alizadeh, Yee Whye Teh, Arnaud Doucet: “COIN: COmpression with Implicit Neural representations”, arXiv: 2103.03123, 2021.
6. [6] Julian Chibane, Aymen Mir, Gerard Pons-Moll: “Neural Unsigned Distance Fields for Implicit Function Learning”, arXiv:2010.13938, 2020.
7. [7] 静岡県ポイントクラウドデータベース, https://pointcloud.pref.shizuoka.jp/, 2021/03/10閲覧, CCライセンス 表示 4.0 国際.
8. [8] Qingnan Zhou, Alec Jacobson: “Thingi10K: A Dataset of 10,000 3D-Printing Models”, arXiv:1605.04797, 2016.
9. [9] Tom Burtonwood: “The Rabbit In the Hat Trick”, https://ten-thousand-models.appspot.com/detail.html?file_id=441708, 2014, 2020/03/10閲覧.

◆お祝いのメッセージ

◆ 自己紹介

・価値観を知るカードゲーム

・ペーパータワー作り

◆人事担当者より

初めに

• エージェント
  エージェントは、エージェント同士が相互に、及びそれらが存在する環境と相互作用することによって情報を交換するモデル内のエンティティ（実体、存在）として考えることができます。 エージェントは、動物、個人、組織などを表すことがあります。また、エージェントはプログラマーによって定義されたルールに従って動作します。各エージェントには、固有の特性であるプロパティ（行動目的など）があり、それによってエージェントが属するグループを決定します。例えば、エージェントごとに健康な人、またはウイルスの陽性者を表すことができます。
  
  
• 環境
  エージェントが存在する空間です。
  
  
• 時間
  通常、シミュレーションはいくつかの離散時間ステップ（ticks）で構成されます。 各ティックで、エージェントはルールに従って動作し、環境が動的である場合は更新されます。
  

• 自律性
  エージェントは、環境や他のエージェントとは独立して動作します。 エージェントの行動は、環境からの情報とエージェント間の関係に影響されます。 出現する全体パターンは調整されていませんが、エージェント同士の相互作用から始まり、bottom-up（つまり、エージェント同士の単純な個々の相互作用は、より複雑な全体像を形成するということ）から出現します。
  
  
• 相互依存
  エージェントの相互依存は、直接的には隣接するエージェントの動作の模倣などのメカニズムを通じて、また間接的にはエージェントの行動に影響を与える環境の変化を通じて、発生する可能性があります。
  
  
• シンプルさ
  単一のエージェントの動作を決定するルールは比較的単純です。また、モデルから得られる全体的な結果は、エージェント間における複数の相互作用の結果です。

 論文の内容

考察

結論

さいごに

参考文献

The post ABMsの入門と「An Agent-Based Model of the Local Spread of SARS-CoV-2:　Modeling Study」の紹介 first appeared on ALBERT Official Blog.

物体追跡とは

• 一度に追跡する物体の数が「1つ or 複数」
• オクルージョン（追跡対象がカメラから隠れること。例えば他の物体の影に入った場合や画面内外への出入りなど）を「考慮しない or 考慮する」
• カメラが「1つ or 複数」
• （カメラが複数の場合）各カメラの撮影領域が「重複していない or 重複していてもよい」
• オフライン（すでに保存された動画で追跡）or オンライン（動画を撮影しながら逐次的に追跡）

提案手法（マッチングアルゴリズム）の概要

• 各ノードはトラックレットを表す
• 各ツリーは1人の人物を表す
• 類似ノード間を繋げることでツリーを形成する
• ノード間連結を動的に変更することで最適な結合を保つ
  
  

左図

中図

右上図

C_{\rm sim} = 1 - \bm{F} \cdot \bm{F'}

ただし|\bm{F}| = |\bm{F'}| = 1

右下図

提案手法の利点・既存手法との比較

MHT

FCDSC

動作検証

まとめ

1. 田中駿祐, 松林達史, 「動的な Tree 形成によるオンライン複数カメラ物体追跡手法」, Symposium on sensing via image information, IS3-21/SO3-21, 2021
2. Harold W. Kuhn, “The Hungarian Method for the assignment problem”, Naval Research Logistics Quarterly, 2: 83–97, 1955. Kuhn’s original publication.
3. Kwangjin Yoon, Young-min Song, and Moongu Jeon. “Multiple hypothesis tracking algorithm for multi-target multi-camera tracking with disjoint views”. CoRR, Vol. abs/1901.08787, 2019.
4. Yonatan Tariku Tesfaye, Eyasu Zemene, An- drea Prati, Marcello Pelillo, and Mubarak Shah. “Multi-target tracking in multiple non-overlapping cameras using fast-constrained dominant sets”. In- ternational Journal of Computer Vision, May 2019.
5. Lengagne Richard Fua Pascal Fleuret Fran ̧cois, Berclaz J ́erˆome. “Multi-camera people tracking with a probabilistic occupancy map”. 2008.
6. Yang Liu Song-Chun Zhu Yuanlu Xu, Xi- aobai Liu. “Multi-view people tracking via hier- archical trajectory composition”. 2016.

The post 複数カメラの映像を用いたオンライン物体追跡のためのマッチングアルゴリズムについて first appeared on ALBERT Official Blog.

研修内容

• オリエンテーション
• 各部説明
• ビジネス関連の研修
  • ビジネスライティング
  • 報告書作成
  • ビジネスマナー研修
• 技術関連の研修
  • UNIX・クラウド・Docker 基礎
  • Python 基礎
  • Github 基礎
  • コーディング作法
  • 統計学・機械学習の理論
  • RDB 基礎
  • Spark 基礎
• 演習
  • 分析演習 I （個人）: 音楽ストリーミングサービスにおける離反会員の予測
  • 分析演習 II（個人） : Deep learning を用いた自動車走行中の道路画像のセグメンテーション
  • クライアント対応演習（グループ）: 半導体メーカーの検査工程における AI システムの導入

■ ビジネス関連の研修

■ 技術関連の研修

• 先輩社員が講師として教える講義形式のもの
• 事前に講義を録画したものを視聴する VOD 形式のもの

■ 演習

◆ 分析演習 I

◆ 分析演習 II

◆ クライアント対応演習

• クライアントの真に達成したい目的や本質的な課題を引き出すヒアリング力
• 契約内容やシステム要件等に関してクライアントと適切に合意形成する交渉力
• 想定外の状況に備えていくつか分析パターンの手札を用意するリスク管理力

研修を終えてみての感想

ALBERT の魅力

• 新卒社員でも意見を言いやすい風通しの良さ
• 社内勉強会が充実している
• 技術に詳しい社員が多い
• オフィスのお菓子コーナーが充実している
• 軽食タイムなどがあり、社員同士で雑談がしやすい
• 貸出用の書籍が充実している
• 積極的に話しかけてくれる先輩が多い
• 同期はみんなめっちゃいい奴（by 新卒社員 Y.K.）
• 面白い趣味を持った社員が多い
• 一階にスーパー、二階にお惣菜屋さんがあってランチに困らない
• 穏やかな社員が多い
• 作業効率を重視する文化があり、残業時間が短い
• ブラシス制度等があり、新卒社員のサポート体制がしっかりしている
• 新しいことを積極的に取り入れる社風がある
• オフィスが綺麗で窓からの景色も良い

The post 2021年 新卒研修レポート first appeared on ALBERT Official Blog.

matrixMulCUBLAS (FP32)

dmmaTensorCoreGemm (FP64 Tenosr)

tf32TensorCoreGemm (TF32 Tensor)

cudaTensorCoreGemm (FP16 Tensor)

bf16TensorCoreGemm (BFLOAT16 Tensor)

immaTensorCoreGemm (INT8 Tenosr)

The post GPUサーバ増設とA6000のベンチマーク first appeared on ALBERT Official Blog.

前書き

• オープニング
• ARISE analytics 事例紹介と一般的な話題（15分）
• ALBERT 事例紹介と一般的な話題（15分）
• 「レコメンドエンジンを作って大規模コールドスタート問題を解決した話」（30分、ARISE analytics社）
• 休憩&交流会（20分）
• 「リアルタイム画像処理システムにおける物体検知モデルの速度チューニング」（20分、ARISE analytics社）
• 「3D Awareな生成モデル」（30分、ALBERT）
• 休憩&交流会（20分）
• クロージング

今回はそんな勉強会の様子をレポートしていきたいと思います。

瀧内さんセクション

武田さんセクション

野尻さんセクション

秋元さんセクション

古川さんセクション

終わりに

The post ARISE analytics社と2回目の合同勉強会を開催いたしました。 first appeared on ALBERT Official Blog.

NeRF

カメラパラメータ

座標系

• 画像座標 (u, v): ピクセルを単位とする画像の座標に当たり、被写体を含む撮影対象の空間がこの座標平面上に画像として投影されます。 
• カメラ座標 (x_c, y_c, z_c): カメラの焦点を原点として、画像平面や被写体を周囲に配置した座標です。
• 世界座標 (x_w, y_w, z_w): 計測機器の基準など何かしらの基準によって、カメラや画像平面、被写体を配置した座標です(図2)。 NeRFモデルの入力となるのは、この座標系での情報になります。 

内部パラメータ

x_c' = \frac{f}{z_c}x_c
y_c' = \frac{f}{z_c}y_c

u = f_x\frac{x_c}{z_c} + c_x
v= f_y\frac{y_c}{z_c} + c_y

s \left[\begin{array}{c} u \\ v \\ 1 \end{array}\right] = \left[\begin{array}{ccc}f_x & 0 & c_x \\ 0 & f_y & c_y \\ 0 & 0 & 1 \end{array}\right] \left[\begin{array}{c} x_c \\ y_c \\ z_c \end{array}\right]

K = \left[\begin{array}{ccc}f_x & 0 & c_x \\ 0 & f_y & c_y \\ 0 & 0 & 1 \end{array}\right]

x_c = \frac{1}{f_x} (u - c_x)
y_c = - \frac{1}{f_y} (v - c_y)
z_c = -1

外部パラメータ

\left[\begin{array}{c} x_w \\ y_w \\ z_w \\ 1 \end{array}\right] = \left[\begin{array}{ccc|c} & & & \\ & \mathbf{R} & & \mathbf{T} \\ & & & \\ \hline 0 & 0 & 0 & 1 \\ \end{array}\right] \left[\begin{array}{c} x_c \\ y_c \\ z_c \\ 1 \\ \end{array}\right]

カメラの回転

回転行列

\mathbf{R} = \left[\begin{array}{ccc} \cos\theta & -\sin\theta & 0 \\ \sin\theta & \cos\theta & 0 \\ 0 & 0 & 1 \\\end{array}\right]

回転ベクトル

\frac{\mathbf{\omega}}{\theta} = \mathbf{\phi} = \left[\begin{array}{c} r_0 \\ r_1 \\ r_2 \end{array}\right]

\mathbf{\hat\phi} = \left[\begin{array}{ccc} 0 & r_2 & r_1 \\ r_2 & 0 & r_0 \\ r_1 & r_0& 0 \end{array}\right]

\mathbf{R} = \mathbf{I} + \frac{\sin(\theta)}{\theta}\mathbf{\hat\phi} + \frac{1-\cos(\theta)}{\theta^2}(\mathbf{\hat\phi})^2

カメラの移動

カメラパラメータによる座標変換とNeRF 

\mathbf{d_{ij}} = \frac{\mathbf{p_{ij}}-\mathbf{T}}{|\mathbf{p_{ij}}-\mathbf{T}|}

カメラのパラメータを用いないNeRF

NeRF--

c_x = \frac{W}{2}, c_y=\frac{H}{2}

BARF

\gamma(\mathbf{x}) = [\gamma_0(\mathbf{x}), \gamma_1(\mathbf{x}),…, \gamma_{L-1}(\mathbf{x})] \in \mathbb{R}^{6L}

\gamma_k(\mathbf{x}) = [\cos(2^k\pi\mathbf{x}), \sin(2^k\pi\mathbf{x})] \in \mathbb{R}^6

\frac{\partial \gamma_k(\mathbf{x})}{\partial \mathbf{x}} = 2^k\pi[-\sin(2^k\pi\mathbf{x}), \cos(2^k\pi \mathbf{x})]

\gamma(\mathbf{x}) = [\mathbf{x}, \gamma_0(\mathbf{x}), \gamma_1(\mathbf{x}),…, \gamma_{L-1}(\mathbf{x})] \in \mathbb{R}^{3+6L}

\gamma_k(\mathbf{x}; \alpha) = w_k(\alpha)[\cos(2^k\pi\mathbf{x}), \sin(2^k\pi\mathbf{x})] \in \mathbb{R}^6

w_k(\alpha) = \begin{cases} 0 & \alpha < k \\ \frac{1}{2}(1-\cos((\alpha-k)\pi)) & 0 \leq \alpha-k < 1 \\ 1 & \alpha-k \geq 1 \end{cases}

実験

• 回転行列推定
  • NeRF PE条件: 位置エンコーディングにオリジナルNeRFのものを利用 
  • BARF条件: 位置エンコーディングにBARFを利用
• 回転ベクトル推定
  • NeRF--条件: 焦点距離・画像中心をCOLMAP推定値で固定したNeRF--
  • BARF--条件: NeRF--条件の位置エンコーディングをBARFに変更 

	カメラプロット	平均回転誤差	平均移動誤差
ノイズ		0.576	1.053
NeRF PE		0.466	0.687
NeRF--		0.321	0.439
BARF		0.301	0.434
BARF--		0.162	0.255

手法	NeRF PE	NeRF--	BARF	BARF--
生成GIF

	カメラプロット	平均回転誤差	平均移動誤差
ノイズ		0.819	1.273
NeRF--		0.665	1.035
BARF		0.477	0.790
BARF--		0.433	0.709

手法	NeRF--	BARF	BARF--
生成GIF

まとめ

参考文献

1. Ben Mildenhall, Pratul P. Srinivasan, Matthew Tancik, Jonathan T. Barron, Ravi Ramamoorthi, Ren Ng: “NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis”, Proc. ECCV 2020. 
2. Schönberger, Johannes Lutz and Frahm, Jan-Michael: “Structure-from-Motion Revisited”, Proc. CVPR 2016. 
3. Schönberger, Johannes Lutz and Zheng, Enliang and Pollefeys, Marc and Frahm, Jan-Michael: “Pixelwise View Selection for Unstructured Multi-View Stereo”, Proc.ECCV 2016. 
4. Zirui Wang and Shangzhe Wu and Weidi Xie and Min Chen and Victor Adrian Prisacariu: “NeRF--: Neural Radiance Fields Without Known Camera Parameters”, arXiv preprint arXiv:2102.07064, 2021. 
5. Ben Mildenhall and Pratul P. Srinivasan and Rodrigo Ortiz-Cayon and Nima Khademi Kalantari and Ravi Ramamoorthi and Ren Ng and Abhishek Kar: “Local Light Field Fusion: Practical View Synthesis with Prescriptive Sampling Guidelines”, ACM Transactions on Graphics (TOG), 2019. 
6. Lin, Chen-Hsuan and Ma, Wei-Chiu and Torralba, Antonio and Lucey, Simon: “BARF: Bundle-Adjusting Neural Radiance Fields”, Proc. ICCV 2021. 
7. Sitzmann, Vincent and Thies, Justus and Heide, Felix and Niessner, Matthias and Wetzstein, Gordon and Zollhöfer, Michael, “DeepVoxels: Learning Persistent 3D Feature Embeddings”, Proc. CVPR 2019. 
8. Zhang, Zichao and Scaramuzza, Davide: “A Tutorial on Quantitative Trajectory Evaluation for Visual(-Inertial) Odometry”, Proc. IEEE 2018. 
9. Yoonwoo Jeong, Seokjun Ahn, Christopehr Choy, Animashree Anandkumar, Minsu Cho, and Jaesik Park Park: “Self-Calibrating Neural Radiance Fields”, Proc. ICCV 2021. 

The post カメラパラメータを用いないNeRFの学習 first appeared on ALBERT Official Blog.

The post オンライン全社イベント『ALBERT DAY 2021』を開催しました。 first appeared on ALBERT Official Blog.