近年、スマートフォンなどのデジタル端末の普及や、無料お絵かきアプリの台頭により、デジタル端末でのイラスト制作が始めやすくなっている。イラスト制作において、アニメや漫画のキャラクターなど、人物を題材にすることが多い。その人物のイラストを描く際、デッサン人形を用いることがある。デッサン人形は、手足の関節を自由に動かすことができる人形であり、人形を用いることでさまざまなポーズの人物を描くことができる。しかし、描画する人物のイラストのほとんどは衣服を身につけている。ポーズに合わせて、人物の衣服を違和感が無いように描くには、絵を描くことへの慣れや経験が必要である。スマートフォン上でデッサン人形にポーズを取らせるアプリ(以下｢デッサン人形アプリ｣)のなかには、衣服が表示されるものもある。しかし、衣服の表現が不十分であったり、衣服の種類が限られていたりする。また、デッサン人形アプリはX軸、Y軸、Z軸で関節を操作するため、慣れていない人は、理想のポーズをとらせるまでに時間がかかってしまう。このような問題に対して、実際のデッサン人形にポーズを取らせ、そのポーズに合わせて3DCGで作成した衣服を組み合わせることができれば有用な手法となると考えられる。

そこで本研究では、人物を題材としたイラスト制作において、デッサン人形の指定のポーズに合わせた衣服形状の表現を支援するシステムの開発を行う。

CGにおける衣服表現の研究として、葛生ら(2020)は、独特の形状変形を伴う着物を対象として、ブレンドシェイプを用いた人の姿勢に合致したCG着物の形状変形手法を行った。この手法では、姿勢情報と対応する3DCG着物形状データ(ターゲットシェイプ)を取得し、各ターゲットシェイプのブレンド率を算出する。求めたブレンド率に従ったブレンドシェイプにより、姿勢に合致した着物形状を得ることができる。物理シミュレーションでは袖の動きに軽く薄い布の印象を受ける。しかし、ブレンドシェイプを用いることで実際の着物形状に基づいた変形が可能になり、張りのある布の表現ができることが示されている。

1.Openposeによる骨格検出

実際のデッサン人形に取らせたポーズをコンピュータ上で表現するために、Openposeという骨格検出システムを使用する。Openposeとは、カーネギーメロン大学(CMU)のZheら(2019)が発表した、深層学習を用いて人物のポーズを可視化する手法である。静止画を入力するだけで人間の関節点を検出することが可能である。また、Openposeは関節点をX座標とY座標のjson形式で出力することができる。本研究では、Openposeで出力したjson形式ファイルをUnityで読み込み、各関節を示す座標の位置に球を配置することで擬似的に体を表現した 。

なお、各関節点は、鼻、胸、右肩、右肘、右手首、左肩、左肘、左手首、腰、右尻、左膝、右足首、左尻、左膝、左足首の15点を表している。関節のみの3Dモデルに服を組み合わせると、袖の表現が上手くいかないため、各関節の間に球を追加した。間の球の座標は、隣り合う関節の座標の平均値とした。また、Openposeは目、耳、かかと、つま先の位置も検出するが、本研究は指定のポーズに合わせた衣服の表現を目的としているため、それらの情報は不要であると判断し用いていない。

2.骨格モデルの3次元化

Openposeで出力したjson形式のファイルは、X、Y座標のみで構成された2次元の情報であり、奥行き情報が含まれていない。ポーズ設計を支援するシステムの開発を行った堀越ら(2012)は、画像中の腰、首、肩、肘、手首、股、膝、足首の計14個の特徴点の他に、前後情報と体の各部位の長さを与えることで、三角関数を利用して奥行きの推定計算を行っている。本研究では、肩幅を基準の長さとして、奥行きの推定計算を行った。Openposeで出力されたjson形式の座標データは、左上を原点としている。左肩のY座標y_lと右肩のY座標y_rを用いて、肩幅の長さkは式(1)で求められる。

k =y_l －y_r                                    (1)

肩幅の長さkと、肩から肘の長さdを同じと仮定して、それらがなす角度をθとすると(図3)、式(2)により奥行きzの推定を行うことができる。

z = d sin θ                                 (2)

また、肘から手首までの長さ、尻から膝までの長さ、膝から足首の長さも、肩幅の長さkと同じと仮定して奥行きの推定を行い，骨格の3次元化を行った。

3.Marvelous Designerでの衣服形状表現

衣服モデリングソフトウェアのMarvelous Designerは、衣服の繊細な表現が可能である。本研究では、Unityで作成した3Dモデルを読み込み、衣服を組み合わせる。

本研究では、実際のデッサン人形にポーズを取らせ、そのポーズに合わせて3DCGの衣服を組み合わせる手法について述べた。今回は、出力されたjson形式のファイルをUnityで読み込み、計算で奥行き情報を追加し、3Dモデルに変換してMarvelous Designerで衣服を組み合わせることができた。

課題として、PCの操作に不慣れな人にとって扱いにくいことや、複数のソフトウェアを使用するため手間がかかることが挙げられる。そのため、既存のデッサン人形アプリのような手軽さが失われている。また、ポーズによっては衣服を組み合わせるのが難しいことも課題として挙げられる。