Affordance and Contact Reasoning

Affordance は、物体や環境が agent に対して提供する「行動可能性」を表します。例えば、cup は掴める、chair は座れる、door handle は引ける、button は押せる、といった性質です。

なぜ重要か

Object category を認識できても、robot が行動するには不十分です。Robot には次が必要です。

Affordance prediction には、3D geometry、surface normal、semantic label、material、contact history などが役に立ちます。

Contact reasoning は、agent と object、または object 同士が接触したときに何が起こるかを推定する問題です。Manipulation では、contact point、force direction、friction、compliance が重要です。

Affordance は static な label ではなく、action-conditioned な予測です。したがって、world model と自然に接続します。

\text{affordance}(s, a) \approx \text{expected outcome}

Affordance は、「位置 $\mathbf{x}$ に対して action $a$ を行ったとき成功する確率」として定式化できます。

A(\mathbf{x},a)=P(\mathrm{success}\mid I,\mathbf{x},a)

この式の気持ちは、「物体が何であるかだけではなく、そこにどう働きかけられるかを予測する」というものです。たとえば handle を引ける、button を押せる、平面に物を置ける、といった action-conditioned な知覚になります。

Contact reasoning では、接触点集合 $\mathcal{C}$ と法線 $\mathbf{n}$ を考えます。Grasp や manipulation の安定性は、接触力 $\mathbf{f}_i$ が friction cone に入るかで評価できます。

\|\mathbf{f}_{i,\perp}\|\le \mu f_{i,n}

ここで、 $\mu$ は摩擦係数、 $f_{i,n}$ は法線方向成分、 $\mathbf{f}_{i,\perp}$ は接線方向成分です。この式の気持ちは、「接触力が摩擦で支えられる範囲を超えると滑る」という物理的制約です。