物体検出技術を用いたフィルタリングによる不快感軽減手法
黒須茉子
鈴木研究室
2023 年度卒業
私は,物体検出技術を用いたフィルタリングにより,視覚的な不快感を軽減する手法の提案を行った.テレビを見ている時やスマートフォンを見ている際,屋内・屋外と問わず,不快なものがふとした時に視界に入ると心理的ストレスが非常に大きい.そのため,本研究では不快な対象を物体検出技術を用いて検出し,その範囲にフィルタリング加工を施すことで視界から削除することで不快感の軽減を目指した.

はじめに

日々の生活の中で,騒音や異臭等多くの不快な要因に直面している.その中でも特に視覚的要因は.テレビやスマートフォンを見てくつろいでいる際, 画面に画像や映像で突然出現する事がある.また家の中・外を問わずふとした時に視界に入ってくる事がある.予め分かっていれば対処できる場合もあるが,突然視界に入ってくる対象に向けての対処は難しい.そのため,心理的ストレスが非常に大きい.そのような不快対象への対処方法として, 「物理的に排除する」,「視界から削除する」の二つが考えられる.前者の対処方法では,現実の対象には対処可能であるが,画面上の対象には対処できない.そこで,本研究では後者の「視界から削除する」方法を利用し,対象を削除するフィルタリング加工を検討することで,視覚的な不快感の軽減を試みる.

調査

不快感を軽減させる関連研究

不快感を軽減させる先行研究として様々なアプローチで行われている.
田中ら[1]は,旧Twitter上での繋がりを断たず,サービスの特徴である他のユーザとのつながりを保持したままタイムライン上の任意のユーザのつぶやきを見づらくするWebシステムの試作を行った.その上でどのような見づらさが不快を受け流すのに適切であるか検討し,5段階評価を行った.

桑山ら[2]は,病院内の騒音が患者に与えるストレスを軽減させることを目的とし,騒音にマスキングを施すことによる心理的影響について検討した.SD法アンケートを用いた主観評価を行った結果,マスカーを付与した場合の音源の評価結果は全て改善されており、病院内騒音に対してマスキングが有効であるということが分かった.

松田ら[3]は,雑音を他の音によってシャットアウトするのではなく,雑音の雰囲気に適した音楽と合わせて聞くことで,雑音を心理的に気にならなくさせるノイズキャンセリングミュージックを提案した.また,雑音に適した楽曲の提示により,雑音が小さい音として認識されることを実験により明らかにした.評価方法は,主観評価を正規化やt検定を行っている.

関連研究では,評価方法には主に主観評価を用いている.そのため,本研究でも主観評価で招集した結果を多重比較を用いて比較し,適切なフィルタリング方法を決定することとする.

アプローチ

本研究では,視覚的な不快感を軽減させるため物体検出技術とフィルタリング機能の現実空間への拡張により,ブラウザ上・現実空間上と問わず何にでも対処可能なデバイスの作成を試みる.そのために,フィルタリング方法の検討と物体検出機能の検討を行う.

不快感軽減調査

本研究では,フィルタリング機能の現実空間への拡張により,ブラウザ上・現実空間上と問わず何にでも対処可能なデバイスの作成を試みた.そこで,不快なものをそのまま見た際と比較し,どのフィルタリング加工を施すことで一番不快感が軽減されるかの主観調査を行った.

概要

不快なものをそのまま見た際と比較し,どのフィルタリング加工を施すことで一番不快感が軽減されるかの主観調査を行った.
フィルタリング方法は写真の加工の一般的なものとして,「ぼかし」,「黒塗り」,「モザイク」,「無関係なキャラクターを上から重ねる」方法がある.加えて,視界を遮らずに,且つ存在感は消さずにおける「平均色で対象を隠す」方法の5つを検討する.
被験者に個別であらかじめSNSや口頭で不快に感じる対象を調査しておき,それに沿った画像を用意し調査を行った.無加工の画像と,5つのフィルタリング加工が施された画像を比較してもらい,「不快ではない」から「とても不快」で7段階評価を求めた.

結果

16歳から22歳の男女16名分のデータが得られた.結果,主観評価により最も不快感が軽減されたフィルタリング加工は,「無関係なキャラクターを上から重ねる」方法であった.
5つのフィルタリング加工で統計的な有意差があるかどうかを評価するために反復測定一元配置分散分析を行い,ボンフェローニ法も用いてそれぞれの条件間での比較において多重比較補正を行う.
分析により,「無関係なキャラクターを重ねる」方法と比較して「平均色」,「黒塗り」の加工方法は三つの間に有意差があまり無かったが,「ぼかし」,「モザイク」に対しては有意差があった.以上より,無関係なキャラクターを上から重ねるフィルタリング加工を本研究で利用することとする.

物体検出機能の検討

本研究では,物体検出技術を用いて何にでも対処可能なデバイスの開発を試みる.You Only Look Once(YOLO)[4]は 2016年に Joseph らにより開発された物体検出モデルである.大量のトレーニングデータと計算リソースを必要とする一方,高い精度とリアルタイムの物体検出を可能にしていた.リアルタイムでの使用を目的とする本研究に適している.そこで,本研究ではYOLOv8を利用する.最新バージョンであるYOLOv8は,速度と精度の面で限界を押し広げている.また,以前試作で利用したYOLOv5のデータをそのまま利用可能であるため,本研究でYOLOv8を利用し物体検出を試みる.

本研究では,虫を対象として物体検出を行うこととする.
YOLOは、物体の位置と種類を検出する機械学習アルゴリズムで、既に学習済みのモデルを使った物体検出や, 一からモデルに学習させることが可能である. また,リアルタイムで物体の検出に適している.作成手順としては,虫の物体検出を行うために虫の画像をインターネット上から5601枚の画像を収集した.今回は6種類の虫(蛾,蠅,ゴキブリ,蜘蛛,蜻蛉,蝉)に対して画像収集を行った.
YOLOは、物体の位置と種類を検出する機械学習アルゴリズム 収集した画像データにアノテーションツールのlabelimgを用いて,虫の位置座標とクラス名を付与するアノテーションを行う.その際,作成したアノテーションデータは labalimg 上で YOLO 形式にファイルを変換する.学習には YOLOv8を利用し ,Google Colab 上に,自作したアノテーションデータをアップロードして学習を行う.Google Colab は google のサーバー上で動作する. 自分のコンピュータの容量に無関係である点, GPUを利用できる点から高速なデータ処理や機械学習モデルのトレーニングが可能になるため, GoogleColab を利用する.訓練されたYOLOモデルに対し,新しい画像や動画で物体検出のテストを行う.mAP-50は,物体検出の評価指標の一つである.エポック数を128とした時にmAP-50が0.981と高い値が出たため本モデルを利用する.

研究方法

本研究では,フィルタリング機能と物体検出機能を利用し,対象を視界から排除するシステムを開発する.本システムでは,現実空間・ディスプレイ上の空間問わずに対処可能にするため,スマートグラスのReal airを利用する.スマートグラスは, 眼鏡型のウェアラブルデバイスの事である. レンズ部分がディスプレイになっており, 見えている光景にインターネットで取得した動画, 写真, 文章, 音声等さまざまなデジタルデータが重なって表示される.本研究では,視線と同様の映像を入手する必要があるがスマートグラスには外部カメラがない.そのため,スマートグラスと小型カメラを取り付けたキャップを装着してもらい,視線と同じように映像を撮影した.
フィルタリングの実装方法は次の通りである.
作成した物体検出モデルと,フィルタリング加工のコードを組み合わせたプログラムをpythonで実行する.その際,キャップに取り付けた小型カメラが起動し,視線と同じ映像が入手できる.
対象を小型カメラで認識し,スマートグラス上で物体検出モデルで対象の座標位置を特定する.その座標位置にフィルタリング加工が施され,対象が視覚から排除される.

まとめ

本研究では,フィルタリング機能を現実空間に拡張することで,視覚的不快感の軽減を試みた.調査と実験の結果から,本研究の手法が有効であることが分かった.

今後は,データセットがあれば何にでも利用可能なことから教育上よくないものや災害のフラッシュバックを防止する役割を期待する.

参考文献

[1] 田中優美, 伊藤久祥. Twitter におけるタイムライン閲覧
時の不快感軽減の試み. 73 回全国大会講演論文集, pp.
167 – 168, 2011.
[2] 桑山晃介, 田中裕人, 中藤良久. マスキングを用いた周囲
騒音による不快感の軽減. 産業応用工学会全国大会講演
論文集, pp. 28–29, 2015.
[3] 松田滉平, 松井啓司, 佐藤剣太, 久保田夏美, 佐々木美香
, 斎藤光, 中村聡史. ノイズキャンセリングミュージッ
. エンタテインメントコンピューティングシンポジウ
2017 論文集, pp. 249 – 256, 2017.
[4] Joseph Redmon, Santosh Divvala, Ross Girshick, and Ali
Farhadi. You only look once: Unified, real-time object de-
tection. In : IEEE Computer Society Conference on Com-
puter Vision and Pattern Recognition (CVPR), 2016.

研究を終えて

本研究の遂行にあたり,なにも分からない私に終始暖かくご指導をしてくださった鈴木先生には深く感謝します.

また,研究室の皆様には多くの助言・協力を頂きました.大変ありがとうございました。

メニュー