I.はじめに
時代とともに障碍者の社会参加が進む中、手話通訳士の需要は確実に高まっている。バリアフリーが叫ばれる現代社会において、手話通訳士の活躍の場はより一層増えていく。しかしながら、手話通訳士の現状として、国をはじめとする自治体が手話通訳に充てることのできる予算は決して高いとはいえないため、活躍する人のほとんどはアルバイトやボランティアだ。厚生労働省によると、聴覚障碍者の中で手話・手話通訳をコミュニケーションとしているユ ーザーは65歳未満でおよそ25%、65歳以上でおよそ4.3% というデータが出ている[1]。
そこで本研究では、上記の現状を踏まえ、手話学習の第一段階としてLeap Motionを使用した指文字の認識について研究する。本論文では、本研究における目的、関連する研究及び実際に行う手法を述べる。IIでは、本研究の目的を述べる。IIIでは、本研究に関連する研究を述べる。IVでは、本研究で行う手法について述べる。Vでは、結論と今後の課題について述べる。
II.研究の目的
本研究の目的は、Iを踏まえ、指文字の認識を行えるシステムを製作し、手話ユーザーの増加、聴覚障碍者の助け となれるように貢献することだ。指文字は50音の1つ1つに 決まった指の形があり、片手で表現することができるた め、手話学習の第一段階として最適だと考えた。

III.本研究に関する研究
ここでは関連研究を2つ述べる。1つ目は、指文字についての学習支援に関する先行研究だ[2]。この研究では、 各指文字を1文字ずつならい学習するための勉強モードと、どのくらい指文字を覚えることができたかという習熟度評価を行うためのテストモード、そして、繰り返し学習の意欲を維持することを目的としたゲームモードの3つの機能を有したアプリケーションを提案している。これらの学習支援機能において、模倣している指文字が提示されている五十音の指文字として正しいかどうかを、アプリケーショ ン内の指文字認識機能が判定している。モーションセンサで計測した手指の3次元位置情報から得られる特徴量に基 づき、ルールにのっとったカテゴリ判定を行うことで指文字の認識を行っている。また、評価実験を行い、平均許容時間内での平均認識率は79.3%となり、経験者による正しい指文字形状実施時には比較的高い認識性能が得られた。
2つ目は、小型モーションセンサを用いた指文字単語認識についての研究だ[3]。この研究では、Leap Motion を用いて各指文字単語の計測を行い、認識された各指先や関節の差表を得る。そして、取得したそれらの時系列情報から残差平方和を算出して1文字の区間を検出して各指文字 を推定し、単語の認識をする。指の動きが大きい単語と指の動きが小さい単語を5回ずつ計測する単語推定実験を行っ た。実験結果は、指の動きが大きい単語は推定精度が100%、指の動きが小さい単語の推定精度は60%であった。このことから、指の動きが小さい単語の手話の精度は低く、 実際に自分がシステムを実装する際にも課題になってしまうのではないかと考察した。

IV.システムの開発

1. システムの概要
本研究で開発する指文字の認識を行えるシステムでは、Leap Motionの上に手をかざし、任意の50音の1つ1 つをどのくらいの精度で認識することができるかという研究を行う。日本語のひらがな46音のうち、動きを伴う指文字は5音あり、動きを伴わない指文字は41音存在する。今回は、動きを伴わない指文字について認識させる。[4]

2. 開発環境
開発環境は、Unityを用いた。理由は、1つのプロジェクトデータから、複数のプラットフォーム向けにビルドが可能だからだ。また、手や指を認識してくれるLeap Motionを使用した。理由は、Leap Motionは、高度な LEDセンサーを利用し、検知エリア内の手や指の微細な動きを認識することができるためだ。ゆえに、手や指の前後左右や上下の移動だけでなく、手のひねりや各関節の位置も捉えることが可能だ。

3. システムの開発
まず、セットアップとして、UnityにLeap Motionのパッケージファイルをインポートする。そして、Unityで手のモデルを表示させる。この作業の段階では、問題なく手がトラッキングされていることを確認できた。[5]

任意の指文字は、「さ」「け」「し」「う」「ひ」「て」の6文字だ。曲がっている指の本数を基準に、上 記6文字を認識させる。全ての指が曲がっていれば 「さ」、1本曲がっていれば「け」、2本曲がっていれば 「し」、3本曲がっていれば「う」、4本曲がっていれば 「ひ」、全ての指が開いていれば「て」と判断される。 本論文では、上記の指文字をLeap Motionに5回ずつかざし、認識させるという実験を行った。指文字全てにおいて高い認識率が出ると考察している。実験をおこなった6文字すべての指文字の認識率は、「し」以外の5文字において100%という結果が出た。「し」は、Leap Motionに対して手の甲を向けるため認識されなかった。手のひらを向ければ、 認識率は80%という結果が出た。指の曲がっている本数を判断するだけであれば、Leap Motionで指文字を認識することは可能だ。しかし、かざす手の角度によって「さ」の認識が上手くいかないことが稀にあった。 手を開いた状態で一度認識させた後であれば、問題なく「さ」を認識することが出来た。

V.おわりに
本稿では、Leap Motionを使用した指文字の認識についての研究を述べた。前期で提案した手話を用いた学習支援システムを制作する上での第一段階として、まず指文字についての研究を行った。今回は全ての指文字について認識させることはできなかった。そのため今後の展望は、2つある。1つ目は、動きを伴う指文字についても認識させることだ。50音のうち動きを伴う指文字は5音あるが、濁点や小文字は全て動きを伴うため、それらについても認識させたい。2つ目は、手話について学習したのち、この研究を参考にして実際に手話を用いた学習支援システムを制作することだ。手話について学び、楽しく分かりやすく手話を学ぶことができる学習支援システムを制作したい。また、このシステムを機に手話ユーザーの増加、聴覚障碍者の助けとなれるように貢献したい。