身体運動による英語リズムの学習支援システムの開発
瀬川りさ
鈴木研究室
2021 年度卒業
多くの人が第二言語として世界標準の言語とされる英語を学習する．その英語の発音指導の目標は，時代とともに変化しており，現在は明瞭性が重視される．発音の要素のうちリズムの学習では，母国語と異なるリズムである場合困難を伴う．本研究では，コンピュータを用いた方法による英語のリズムを身に つけるために効果的な学習方法の実現を目指して，身体運動による英語リズムの学習支援システム「リズワン」の開発を行った．
世界の多くの人々は，第二言語として世界標準の言語とされる英語を学習する．その英語の発音指導の目標は，時代とともに変化してきた．現在は，コミュニケーションという観点で，発音指導の目標は「正確性」から「わかりやすさ」に変わった．この目標から，英語において，他者に話す内容が伝わりやすい発音を身に付けることは重要である．
すべての言語は，リズム類型論上，音節拍(syllable-timed)あるいは強勢拍(stress-timed) のどちらかに分類できるとされる[1]．日本語と英語とは，それぞれ音声拍と強勢拍とに分類される．日本語のリズムはモーラ拍(mora-timed)と呼ばれるが，基本的には音節拍の一種である．音節拍を母語にもつ者が強勢拍リズムの外国語(例えば英語)を学ぶと発音の習得でも苦労するが，それには両言語間のリズム上の差異も大いに関与する[2]．
以上より，言語のリズムの学習をすることが発話の明瞭性を向上させるために有効であることがわかる．しかしながら，リズムが異なる言語を学ぶとき，リズムが同様である言語を学ぶ時に比べて発音の習得が難しい．
母国語とは異なるリズムを獲得するには，正しいリズムを単に知識として知るだけでなく，練習およびフィードバックの反復を必要とする．フィードバックを得るには，その言語の発音法に精通した教師に指導を受けるのがよい．しかしながら，指導を受ける場所および時間は限定される．このような課題を解決するために，本研究では指導者に依存しない，コンピュータを用いた方法を検討する．本研究の目的は，コンピュータを用いた方法による言語のリズムを身につけるために効果的な学習方法の実現である．
調査
被験者として大学生10名(男性: 6名，女性4名)を対象に，評価者カナダ人ネイティブスピーカ2名(男性: 2名)に協力してもらい，リズワンの学習効果評価実験を行った．また，実験終了後に質問紙による調査を行った．
実験手順
- Pre-test
- 被験者による対象の英文の音読を録音
- リズム訓練
- 被験者によるリズワンを用いたトレーニング
- 各文章15回を3日間連続で実施
- Post-test
- 被験者によるPre-testと同様の英文の音読を録音
対象となる英文
“|” はフットの切れ目を表す．
- Material1: Market | closing | time
-
1単語が1フットを構成するフレーズ
-
- Material2: This was | easy for | us.
- 1フットに最大2単語含まれる文
- すべて1音節で成り立つ単語で構成される
- Material3: Please | give us your | name first.
- 1フットに最大3単語含まれる文
- すべて1音節で成り立つ単語で構成される
- Material4: I will be | ten years old | this | month.
- リズム訓練を行わず，比較に用いる
- 1フットに最大3単語含まれる文
- すべて1音節で成り立つ単語で構成される
評価項目
- Intelligibility (明瞭性)
5段階評価
話者の意図したメッセージと聞き手の理解との一致度
1: 理解が難しい
5: 理解が容易である -
Idiomatically rhythmic (英語的に自然なリズミカルさ)
5段階評価
音節のタイミングのある言語である英語を話すという点で リズミカルである度合い
1: リズミカルである
5: ネイティブスピーカーと同程度にリズミカルである
検証結果
5段階評価の結果
ウィルコクソンの符号付順位検定を用いて分析を行った．
- それぞれの文におけるPre-testおよびPost-test間の有意差はみられなかった
- Material 1-3のそれぞれと，Material4とのスコアの伸びの間では，優位水準5%でintelligibilityまたはIdiomatically rhythmicのいずれかに優位差がみられた
質問紙調査の結果
情意面での効果
Q. リズワンでの学習は楽しかったですか？
5段階評価(1: 全く楽しくなかった, 5: 非常に楽しかった)
5段階評価(1: 全く楽しくなかった, 5: 非常に楽しかった)
被験者はおおむね楽しいと感じたようだった．
自由記述の感想では，身体を動かすことが楽しいと述べた被験者が 2名いた．
学習効果の主観的な評価
Q. リズワンでよくリズムを習得できたと思いますか?
5段階評価 (1:全く習得できなかった, 5: 非常に良く習得できた)
- 4あるいは5と回答した被験者には， 身体によるリズム習得効果を感想として述べた被験者がいた
- 身体を動かすことによりリズムがしみついたと述べた被験者2名
- 脳の変化を実感したと述べた被験者1名
- 最低値である3と回答した被験者は， 正しいリズムの情報提示の少なさを指摘した
- 「実際の発音を忘れてしまうので，モデルの音声をもっと聞きたかった」
- 「ソフトウェアのラグなのかリズム合ってないのか自信がなくなるので，お手本もボールを動かしてほしかった」
研究方法
アプローチ
「はじめに」で述べた理由から，本研究では指導者を必要としないことを目標とする．単純な音読ではリズム習得の効果が見られないことがわかっており[3]，かつ，身体運動および聴覚を組み合わせた練習によってリズム習得の効果があるため[4]，本研究ではアプローチに身体運動および音読を取り入れる．
デザイン指針
「はじめに」で述べたように，日本語と英語とはそれぞれ異なるリズム体系に属する．日本語は音声拍リズムの一種で，英語は強勢拍リズムである．音声拍リズムにおいては，それぞれの音節が同じ時間で発話される．一方，強勢拍リズムにおいては強勢と強勢との間(フット) がほぼ同じ時間で発話される．実際のフット長は，厳密に測定すると極めて不均一である．英語母語話者はばらつきの見られる実際の物理的フット長を知覚の際に等間隔に認知する[5] ．よって，本研究では以下の条件を満たす指針に沿う．
- 等時性を意識させる
- 音響的な等時性を求めない
本システムの学習コンテンツは，ユーザが発話の際に強勢を周期的に起こすことを意識できる内容であると同時に，ユーザがこの等時性は自然に起こるのではなく，発話の際に自発的に作るものであることを意識できる内容とする．また，英語の等時性は知覚の際の印象であり，音響的に等時的ではないため．本システムの学習コンテンツは，ユーザは等時性を意識するが，フット長のばらつきを許容する内容とする．
英語リズムの学習支援システム「リズワン」
システムの概要
「リズワン」は，身体を揺らす動きで犬のキャラクタを操作し，タイミングよくボールの垂直投げ上げを行うことで英語の強勢拍リズムを練習するシステムである．ユーザは与えられた英文を音読しながら，強勢を起こすタイミングで身体を揺らすことで犬にボールをシュートさせる操作を行う．身体の揺れを取得するために，バランスWiiボードを用いる．
システム構成
リズワンのシステムは，ディスプレイ，PC(Mac OS バージョン11.6)，Unity(バージョン2020.3.19f1)，Google Cloud Platform Speech-to-Text, 有線マイクおよびバランスWiiボードで構成される．
バランスWiiボードは，ユーザの身体の揺れを取得するために用い，コンピュータとの接続はBluetoothで行う．PCへのデータの送信にはOSC通信を用いる．マイクはユーザの音読する音声の取得のために用いる．取得した音声をGoogle Cloud PlatformのSpeech-to-Textを用いて文字に起こし，そのテキストデータをシステム上の音読判定に用いる．ユーザが揺れながら画面を見やすいように，大きなスクリーンに画面を表示する．システムの開発はUnityで行った．
使用方法
システムには，1. および2. の2つの段階がある．
- 対象となる英文の音読練習をする段階
- 対象となる英文の音読を，身体の揺れを用いて練習する段階
1. の段階では，モデルとなるネイティブスピーカによる読み上げ音声が再生された後，ユーザはマイクに向かって対象の英文の音読を行う．任意の回数音読を繰り返した後2. の段階へ進む． 2. の段階では，1. と同様の読み上げ音声がはじめに再生された後．ユーザは画面に表示された英文，犬およびボールを見ながら音読および揺れの操作を行う．画面に表示された英文を音読しながら，その文で強勢が起こるタイミングで身体を揺らす動作によって犬を操作し，ボールを打つ．
強勢が起こる音節のタイミングでボールが犬の頭上に来る．そのタイミングでボールを打つとボールが垂直に空中に上がる．ボールが空中に上がってから再び犬の頭上に戻ってくるまでの間がフット長を表す．つまり，フット長が長いほどボールが高く飛び，ボールの滞空時間が長くなる．
ユーザの発話速度に基づくフット長計算機能
本システムでは，ユーザの発話速度に基づいてフット長を算出する．まず，対象の英文のそれぞれのフット長の比を求める．フット長は一意に決まることがないため[6]，あらかじめ音声ファイルのうち，それぞれの音節が何秒時点で発音されたかを手動で記録し，それをもとにフットの比を求めて記録する．次に，「使用方法」で述べた1. の段階において，システムはユーザの音読練習時の音声から，一文の音読にかかった時間を取得する(図2)．音読にかかった時間とあらかじめ求めたフット長の比を用いて，対象の英文に含まれるそれぞれのフットのフット長を計算する．
まとめ
本研究では，英語の等時性および音響的非等時性，ならびに身体によるリズム習得の効果に着目し，身体運動による英語のリズムの学習支援デバイス「リズワン」の開発を行った．バランスWiiボードを用いて身体の揺れを取得し，英文を音読しながら，強勢が起きるタイミングで身体を揺らすことで英語のリズム学習を行うシステムを開発した．
今後の展望は，実際の教育現場での利用を目指すことである．指導者がいない場合でも，利用環境を用意した場所を設けて，学習したい者がいつでも自由に利用できるようにすることが望ましい．
参考文献
[1] David Abercrombie. Syllable quantity and enclitics in English, pp. 216–222. London : Longmans, Green, 1964.
[2] 大高博美, 神谷厚徳. 英語のリズムにおけるフットの等時性 : 等時性仮説の真偽検証. 言語と文化, 16 号, pp. 17–23, 2013.
[3] Remi MURAO andTsunehisa ISAJI, Shunsuke TANE- MURA, Hiroshi SHIRONO, Junko YAMANAKA, Junko ISHIKAWA, Tadashi NORO, and ARELE. Does reading- aloud training facilitate the improvement of english stress- timed rhythm? a comparison between repeating and parallel reading. Annual Review of English Language Edu- cation in Japan, Vol. 29, pp. 289–304, 2018.
[4] Claudia Lappe, Laurel J. Trainor, Sibylle C. Herholz, and Christo Pantev. Cortical plasticity induced by short- term multimodal musical rhythm training. PLoS ONE, Vol. 6, No. 6, pp. 1–8, 2011.
[5] I. Lehiste. Isochrony reconsidered. Jour. of Phonetics, Vol. 5, pp. 253–263, 1977.
[6] Alice Turk and Stefanie Shattuck-Hufnagel. Timing in talking: what is it used for, and how is it controlled? Phi- los Trans R Soc Lond B Biol Sci., Vol. 19, No. 369(1658), p. 2, 2014.
研究を終えて
前期のテーマが技術的に困難であったため後期にテーマを変更しましたが，同じ言語に関するテーマで研究を形にすることができてよかったです．一方で，もう少し技術自体への新規性を出したかったという思いもあります．
研究を通して学術的な文章の書き方，学術的な批評の姿勢，また，実験の際の計画の立て方を学ぶことができました．初めての研究をやり切ったことに胸を張って，卒業してからの人生を歩んでいこうと思います．ご指導いただいた鈴木先生，須栗先生，川井先生，曾根先生，ありがとうございました．