このブログを検索

2013年11月3日日曜日

Bachmanコミュニケーション能力―communicative language ability―


テストを行う上で、もしくは教育を実践する上で、我々は「言語を使用するとは何か」という大きな疑問にぶち当たることがある。以下ではBachman(1990)よりコミュニケーション能力(communicative language ability)のモデルをわかりやすく紹介したい。

 大まかな構成は4

Bachmanの唱えるコミュニケーション能力は、大まかに言うと4つの要素で構成されている。本記事では、この4つの要素がコミュニケーションの中でどのように機能するかを簡単に紹介する。(先に留意して置かなければならないことは、本記事では以下の4つの要素が記載する順番で連続している印象を受けるかもしれないが、この順序に大きな意味はなく、単なる便宜上に配列である。)



  心理・生理的機能 -Psychophysiological Mechanisms

我々がコミュニケーションを行う際には、まずの目の前の状況を五感で感じ、その状況に合わせてコミュニケーションの形式を変えるだろう。例えコミュニケーションの関与者の目の前に同じ状況があっても、感じ方は個人によってことなるだろう。例えば、極度の上がり症の人は、そうでない人と同じ程度のコミュニケーションの方法や知識を習得していたとしても、実際に異なる形のコミュニケーションを行うだろう。このことから、受動的側面において、視覚や聴覚といった個人の神経的・身体的特性がコミュニケーションに関わってくることが考えられる。また、異なる話者が同様のコミュニケーションの形式をとっても、声の高さや低さ、話者の体格や表情が違えば、コミュニケーションそのものは異なるものに見えるだろう。このことから、産出的側面においても、個人の心理・身体的特徴がコミュニケーションに関わってくることが考えられる。これらの受動的・産出的な側面から、コミュニケーション能力の1つ目の要素には「心理・生理的機能(Psychophysiological Mechanisms)」が備わっていることが考えられ、私達はこの機能を用いることでその場の状況を汲み取り、そして関与することができる。
この機能は身体に備わったものであり、コミュニケーションにおいてこの機能そのものを調整することは困難だろう。人間が「暑い」と感じることを調整することが出来ないし、上がり症の人間が「緊張しないように」と意識しても緊張してしまうのも体質や身体的な特徴が大きく影響するために調整出来ない。すなわち、この要素については人間が生まれつき備わった特徴という側面が強いために、訓練して鍛えることが不可能な部分となっている。もちろん、上がり症の人間が訓練を重ねることで、人前でのスピーチを上手に行えたり、体格が大きくコミュニケーションに不必要な威圧感を伴った人間が、物腰柔らかな言い方で紛らわす事例は考えられるが、これは後述する「方略機能」で補完しているだけであり、感覚そのものを調整しているわけではない。すなわち、この心理・生理的機能はコミュニケーション能力に大きな関わりを持つが、教育の対象そのものにはなりえないことがわかる。

  方略能力 -Strategic Competence―

 上記の心理・生理的機能がコンテクストを感じる個人の機能であったのに対し、2つ目の要素である方略能力(Strategic Competence)を簡単にまとめるならば「心理・生理的機能で感じ取ったコンテクストを判断し、それに合わせて言語使用の方法を決定する能力」である。
Bachman以前の社会言語学者の方略能力は、あくまで「言語によるコミュニケーションが困難に陥った際にそれを補完するために用いられる(非言語まで含めた)能力」とされていた。一方でBachmanはこの定義を拡張し、言語使用の上では欠かせない能力と考えた。
Bachmanの唱えるこの方略能力は、1.アセスメント要素―Assessment component- 2.計画的要素―Planning component― 3.実行要素―Execution component― の3つの要素で構成される。以下では、この3つの要素を確認する。

1.       アセスメント要素
我々は言語使用を行う前に、これから行われる言語使用に備え、目の前に存在する状況を判断している。この判断する要素をアセスメント要素という。例えば、可愛い女の子が歩いている状況が、あるコミュニケーション能力の高い男性の心理・生理的機能によって感知されたとき、彼が持つ方略能力中のアセスメント要素が働き「あの女の子に声をかけるべきかどうか」を判断する。仮に、その女の子が非常に急いでいるように映れば彼はコミュニケーションを図るには困難であると判断し、話しかけることを諦めるだろうし、逆に仲良くなれそうな隙を見つけることができればコミュニケーションを図れそうだと判断するだろう。このように、我々はアセスメント要素を用いることで、知覚されたコンテクストに対し何らかの評価を下す。

2.       計画的要素
我々は目の前に知覚されたコンテクストに対し、アセスメント要素を用いて何らかの評価が行った後に、どのような形でコミュニケーションを図るかを考えるだろう。このように、話者がコミュニケーションの方法を考えることが、方略能力の中の計画的要素となる。前述の例に当てはめるならば、コミュニケーション能力の高い男の子が目の前の女の子に対してどのようにすれば仲良くなれるのかという手順を思考する段階が、この計画的要素に当てはまる。彼はストレートに話しかける手順を計画するかもしれないし、過去にどこかで出会った知り合いの振りをするという計画を立てることも考えられる。また、アセスメント要素にて「女の子は困っていて助けを求めている」という評価を行っていれば、何か助けを提案する形で話しかけるという計画を立てるかもしれない。このように、我々はアセスメント要素での評価に対し、計画的要素を用いることで、目標に対してどのような方法をとることが最善なのかを思考するのである。

3.       実行要素
 計画的要素によって計画されたコミュニケーション方略を実行に移すのが、この実行要素となる。我々の身の回りでは「この計画に従ってコミュニケーションを図ろう、と思っていたけど、実際にやってみると上手に話しかけられない」という事例は多々あることから、計画要素と実行要素は区別して考えることが自然のように思われる。上記の例の続きで考えるならば、男の子が立てた「知り合いの振りをして話しかける」という計画を実行に移すことが当てはまる。我々は計画的要素での計画をもとに、実行要素を用いることで、実際にコミュニケーションを実行に移すのである。

以上では、方略能力に含まれる3つの要素を紹介した。ここで留意して置かなければならないことは、コミュニケーションはこれらの3つの要素アセスメント要素・計画的要素・実行要素1周するだけでは終わらないことである。実際のコミュニケーションを想定すると、「思っていたようにいかない」ということは多々起こる。この際に、我々は常に別の形でのアプローチを模索し実行に移すだろう。このように、私達は実行要素でコミュニケーションを行っている際に、目の前で行われているコンテクストに対し、再度アセスメント要素を用いて再度評価を行い、そして計画的要素に従って再度新たな計画を立て修正を行いながら、新たな形で実行していくのである。これらの要素は1回で終わるのではなく、絶えず循環することでコミュニケーションを築き上げているのである。

 心理・生理的機能とは違い、方略能力は教育・訓練によってある程度強化することができるだろう。しかし、この方略的能力はコミュニケーションに限った能力ではなく、目の前の状況に対する対処全般と一致する部分があり、いわば生活上広い意味の知性という特色を持つ。(なおBachman(1990)では、方略能力は知性という特色はあるが、完全に知性と一致知るものではないと述べている。)

  一般的知識 -Knowledge Structures

コミュニケーションを行う際に、私達は自身が持つ知識全般に従いやりとりする内容を決定している。コミュニケーションにおける3つ目の要素はこの一般的知識(Knowledge Structures)である。引き続き、上記の例で当てはめて考えよう。ある男の子が女の子に声をかけようとしている。上記では言った通り、男の子は心理・生理的機能によって状況を感じ取り、方略的能力でコミュニケーションの方法を考えるだろう。しかし、彼の方略は常に一般的知識によってある程度影響を受けているのである。例えば、彼が「最近話題のアーティストの話を中心に彼のウンチクを披露する中で話を仲良くなる」という方略を考えるかもしれない。方略の決定は、彼の一般的な知識に影響していることが伺える。このことから、我々のコミュニケーションにはそのコミュニケーションに関する内容という知識全般が大きく関わってくることがわかる。
 一般的に繰り広げられる英語教育では指導要領の上で「コミュニケーション能力の育成」を掲げているものの、コミュニケーションを行う上での話すべき内容が配慮されないことが多い。しかしながら、学習者がコミュニケーションをするにあたって話す内容という知識を持っていなければ、円滑なコミュニケーションは行うことが出来ないだろう。一般的知識が乏しければ、彼の選択しうる方略能力は大きく制限され得ないからである。コミュニケーションは一般的知識がなければ形式上のやりとりのみに陥ることを念頭に置かなければならない。

 言語能力 ―Language Competence―

 コミュニケーション能力を構成する4つ目の要素が言語能力である。上記の3つの要素は言語そのものとは関連のないものだったが、この4つ目の要素は直接言語に関わってくる要素となる。以下の図では、この言語能力の下位区分を図示する。留意して置かなければならないのは、これらの項目が完全に独立したものではなく、それぞれにある程度重複する部分が存在しうることである。



 言語能力は下位区分である組織的能力と語用論的能力に分けられる。組織的能力は我々が文法的に正しい構造を統制したり、それを文脈に組み込む能力である。一方で、語用論的能力は話者の発言がそのコンテクストに容認されるように結びつける能力である。
 組織的能力はさらに下位区分である文法能力とテクスト的能力に区分される。組織的能力を構成する1つ目の下位区分である文法能力には語彙・統語・音韻論・形態論といった比較的独立した諸要素が含まれる。我々はこの文法能力を用いることで、言語上の規則に受け入られる発話を発信・受容することができる。組織的能力を構成する2つ目の下位区分であるテクスト的能力には、テクスト同士をつなぎ談話を構成するための結束性や、発話の形式をより効果的に構成するための修辞的構造が含まれる。
 また語用論的特性はさらに下位区分である発話内能力と社会言語的能力に分けられる。語用論的能力を構成する1つ目の下位区分である発話内能力はスピーチアクトといった言語上現れないメッセージを汲み取るための能力である。私達はこの能力を用いることで、字義上に真意が現れない皮肉を言ったり、言葉が少なくどうとでも取れるような看板の広告に何らかの意味を見出すことができる。語用論的能力を構成する2つ目の下位区分である社会言語的能力には、「方言や変種に対する感受性」・「言語使用域に対する感受性」・「自然さに関する感受性」・「文化的指示とスピーチの形態を解釈する能力」が含まれる。私達はこの能力を用いることで、方言と標準語を使い分けたり、書式上では口頭表現を用いることを避けたり、構造上には問題のない留学生の言葉にある種の違和感を覚えたり、コンテクスト上に突如現れた比喩を理解できる。
 以上で示した諸要素が統合され、言語知識を構成しているのだが、しばしば我々の周りの英語教育では組織的能力、さらにその中の文法能力にばかり焦点を置いてしまっているように思われる。しかしながら、私達の言語知識、ひいてはコミュニケーション能力は文法能力だけで行われるものではないことは前述の通りである。確かに母語のコミュニケーション能力の要素を転用できる可能性もあるが、あくまで英語という言語を通じてコミュニケーションを図るように教育するのであれば、文法能力以外の諸要素まで教育しなければなないのではないだろうか。

  コミュニケーション能力の評価の在り方とは?

以上で述べてきた通り、コミュニケーション能力とは非常に様々な諸要素が絡み合い、相互作用しながら構成している。それ故に、単純な言語知識の中の文法能力だけでは、コミュニケーション能力全体を扱うことは出来ないのである。
上記のうち、評価しやすいのは言語知識(特に文法的能力)である。これらはテストの出題方法を考えれば、ある程度問うことができるのだろう。しかしながら、方略能力に関しては、単独で測定することは極めて困難だろう。そのため、従来のペーパー試験によって、目標で掲げているコミュニケーション能力を測定するのは不可能に近い。
近年、TOEICTOEFL、センター試験といった限定された能力が世間での議論の中心として考えられることが多い一方で、グローバル化や社会からの需要によりコミュニケーション能力を重視する声も多く上がっている。上記のコミュニケーション能力の構成を考えるならば、TOEFLTOEICの点が保証しているのは極めて限定的な部分である事がわかり、これらを同一視できないことは明らかだろう。今一度、コミュニケーション能力とは何であるのか、そして広く用いられているテストの得点が指し示すものは何なのかを再考する必要があるだろう。

参考文献

Lyle F. Bachman 1990. Fundamental Considerations in Language Testing

2013年8月27日火曜日

第二言語話者の「能力」の規定の変遷


第二言語話者の能力の規定は時代によって移り変わっている。この能力観の違いを押さえてる上で重要な考え方には以下の3つが存在する。

言語能力 linguistic competence
伝達能力 communicative competence
相互行為能力
以下では、これらの能力の考え方の移り変わりを大まかにまとめる。

1. 言語能力(linguistic competence) –生成文法の捉える言語能力-

言語運用の能力を考える際に、避けては通れないのが生成文法という発想である。以下では、知識不足ではあるが、簡単に生成文法を踏まえた上で、その理論から考えられた言語能力について紹介する。

人間は通常失敗することなく母語を習得できることから、言語学者チョムスキーは人間の脳には言語を習得する器官が備わっているのではないか、と考えた。この発想が生成文法であり、その際に考えられた能力が「言語能力(linguistic competence)」である。
 私たちが普段無意識で言葉を用いているが、この際の文は文法的に大きく崩壊することはまずない。そして、私たちが用いる正しい言葉は組み合わせ次第で限りなく作られていく。つまり、母語であれば、新規にいくらでも適切な文を作り出すことができ、また適切な文であれば、初めての文を読んだり聞いたりしてもきちんと理解できるのである。この際に、用いられる文法的に正しい文を無限に生成・理解するための知識言語能力とみなしたのである。
人間がまず失敗することなく母語を習得するためには、言語に体系的な規則が存在するはずであると生成文法の立場の人々は考え、その規則を厳密に追及するためまずは文を構成する骨組みである統語の解明を中心に研究は進められた。生成文法の立場は、厳密に「人間の脳が言語習得をする上で、言語に備わっている規則」を明かそうとするものであるため、言語能力は規則を知っているかどうか、という知識として捉えられている。そのため、言語能力とは知識を指すものであり、あくまで運用は別問題とみなしている。

 集約すると、「言語能力(linguistic competence)」とは言語に関する知識である、と言い換えられる。この発想において、言語に関する知識が備わっている状態こそが言語習得された状態と考えることができる。極端に言えば、「ルールを知っているなら、できるよね」という発想となっている。

 この能力観であれば、言葉を用いることができるかをテストするためには知識の確認を行えばいいわけであるため、ペーパーテスト上で多肢選択式形式を多用して能力を測定することは概ね問題がないのではないだろう。(もちろんテストの形式次第では、テスト方略とかまた別の問題が伴ってくるだろうが

2. 伝達能力 (communicative competence) ‐社会学者が捉える言語運用の視点-
 生成文法の立場は、脳内に存在する装置や言語の規則を厳密に解明することに焦点を置いていたために、それ以外の「言語運用」に関する諸要素は排除されていた。しかしながら、実際の言語使用からでは、観察上「言語能力」と「言語運用」の区別は不可能なのであり、脳内の純粋な言語知識(I言語)の特定はできないことが大きな問題として浮上した。
 言語知識に限定した考えを持っていた生成文法の立場に対し、ハイムズを代表とする社会言語学は反論として「伝達能力」を提唱した。彼らは、言語を使用する際には、言語に関する知識にとどまらず状況的・言語的文脈での適切さの要素を加えなくてはいけないと考えた。言語知識はいわば潜在的な知識として存在するだけであり、使用のための力「運用能力」という側面も踏まえなくてはいけないのではないか、という発想である。

ハイムズは、従来の「言語能力」に対して「伝達能力」では、そのパラメータとして、以下の4つを設定した。

1.形式的可能性
2.実行可能性
3.適切性
4.蓋然性
勉強不足のため割愛させていただきます。ともかく、この言語運用の大きな捉え方は、従来の生成文法には含まれていない要素を含んでいるため、運用のための教授や評価に大きな影響を与えた。
そして、この発想を受け継いだCanale and Swainは伝達能力の構成要素は3つであると考えた

文法能力
社会言語能力
方略的能力(コミュニケーションの失敗を補完する要素として)
(これらの関係性は勉強不足のため割愛)
また、この流れで現れたのがバックマンである。バックマンは上記の伝達能力の流れから意思伝達言語能力を提唱した。意思伝達言語能力(communicative language ability)は「知識+知識を用いる力」であり、その構成要素は以下の3つが挙げられる。
言語能力
方略的能力(言語能力を知識や使用に関連付け言語活動を実行するための能力)
心理生理的機能
(バックマンに関しては、この9月をかけて読み進める予定)
これらの立場をまとめると、生成文法で考えられていた「言語に関する知識」である言語能力だけでは、言語使用は行うことができず、以前になかったコミュニケーションにおける社会的な要素も加えられた。この社会的な側面を加えられたのが、伝達能力である。
 この能力観では、言葉を扱える状態とは、言語知識とは別に社会的な諸要素を持たなければいけないとみなされる。すなわち、テスト上では知識にとどまらず、コミュニケーションにおける方略といった諸要素も測定しなければ、伝達能力を確認できない、と考えているのである。「受験英語は知識に偏っていて実際には使えない」という発想や、「より使える英語を問うべきである」という問題提起は、従来の言語能力にとどまらない伝達能力の観点が教育に十分ではないためなのかもしれない。
3. 相互行為能力 ‐個人に集約しない流動的な能力観-
 伝達能力では「言語知識だけでなく、社会的な側面を加える」という能力観であった。しかし、実際のコミュニケーションは個人で完結するものではなく、コミュニケーションを行う相手との相互的で協働的な関係の中でコミュニケーションは成り立つのである。言語運用を考えた際に、運用の際の能力は個人の中にとどめることができないのではないか、という発想から、相互行為能力という考え方が生じる。

 言語運用とは何かという大きな話になってしまうが、言語運用とは、その場その場で変化する状況の中で、相手との協働的に関係を変容させていくものであると捉えるべきではないだろうか。Kasperはこの発想から「人々が知的で社会的に組織された相互行為に参加するために利用されたり、依拠したりする能力」として相互行為能力を提唱したのである。

 この相互行為能力は従来の能力と大きく違う発想であるため、以下では伝達能力と相互行為能力の違いをまとめる。

・  伝達能力
能力の源は個人
能力は個人に所有された特性とみなされる
心理学に由来する(個人の一般的な認知システムという位置づけ)

  相互行為能力
能力の源は社会(全ての参与者間で協働的に構築されるもの)
     言語使用の状況的・相互行為的な側面への認識
        基本的な概念に対してイーミックな視点で(勉強不足のため割愛)
        第二言語習得のデータベースを拡張する(勉強不足のため割愛)
 従来の伝達能力では、あくまで言語運用のための能力は個人に備わるものと考えていた。すなわち、個人の中で習得された伝達能力があり、それを持ってすれば実際の言語運用は成り立つと考えられていた。この発想は心理学に由来し、個人の能力は認知メカニズムとして習得されるという立場をとっている。
 しかしながら、実際の言語使用が個人内で完結した能力で行われていると考えると納得できない場合が存在する。例えば、「AさんとBさんは上手におしゃべりでき、BさんとCさんも問題なく会話できるが、AさんとCさんは円滑に意思疎通が行えない」という場合はどうだろうか。個人の中に能力が備わっているのであれば、この状況を説明することは困難となる。
 Kasperが主張する相互行為能力においては、能力とは「その場その場で社会に関与していくための相互的な能力の集合」と捉える。コミュニケーションとは話者同士の変容であり、その構成員間で発揮される流動的な能力によって行われていると考える。そのため、この能力は個人の中にとどまらず、話者間の間でのみに存在するものと考えなくてはならない。また、コミュニケーションの構成員。状況が異なればこの流動的な能力のあり方は変容するために、能力は唯一一つのcompetenceと規定することはできず、集合的な概念competencesとして捉えなくてはならない。
 この能力観をもってすれば、現状のテストでは測定が極めて困難となる。能力の概念は常に特定の状況下での特定の話者間に生じるものであるために、まずその能力の叙述が困難であり、叙述できたとしても非常に限定的なものとなってしまう。なおかつ、コミュニケーションを構成する話者の影響を排除できないため、測定したい特定の学習者の能力そのものを測定することができない。例えば、仮に受験者に対し面接テストを行った際には、面接官との社会的な関係や状況がコミュニケーションに影響してしまうために、受験者の相互行為能力は特定の状況下での一つの能力としか捉えられない。そのため、他の状況下・話者間で同じ発話が行えるかは保証することができないのである。また、その評価も叙述が困難なために極めて難航することが予想される。今後、この能力に関してはより研究が求められるだろう。


まとめ

このような能力観の移り変わりを見ていくと、テスト作成における構成概念妥当性の決定は、常に非常に複雑で困難な問題に直面することが考えられる。そこで、従来のテストでは、目的を絞り、能力を測定してきたのである。特に相互行為能力に関しては、理論としては納得できるものの、現行の試験形態では非常に測定が困難であることが容易に予想される。これらの能力の記述が教室や試験に活用されるために、研究を進めていきたい。

参考文献

2013年6月27日木曜日

テスティングにおける妥当性の基礎知識

以下の内容は、大学院での授業 特別研究[内容学] で作成した資料を一部改編したものである。

 妥当性とは、ある特定のテスト、あるいはテスト内の下位部門が意図した測定対象を適切に測定しているか否かを指す。テストは常に意図した測定対象を伴うために、妥当性とは常に特定の目的に対して検証する必要がある。妥当性を検証するにあたって、できる限り多くの側面から証拠を挙げることが好ましい。以下では、妥当性を内的妥当性(internal validity)・外的妥当性(external validity)・構成概念妥当性(construct validity)の3つに分類し、それぞれの側面から妥当性とその検証法を示す。

1.  内的妥当性
 内的妥当性は、対象となるテスト内における項目・要素から適切かどうかを判断する妥当性である。内的妥当性の代表例に、表面妥当性(face validity)・内容妥当性(content validity)・応答妥当性(response validity)の3つが挙げられる。

1.1        表面妥当性
表面妥当性は、テストの見かけがそれらしいか、という素人の直観に基づく妥当性である。この表面妥当性が高いと見えるならば、低い場合に比べ、受験者はそれだけ真剣に解答に取り組むことが予想され、後述する応答妥当性も高くなると考えられる。表面妥当性は非科学的であると排除されがちな分野であったが、コミュニカティブテスト(CLT)の広まり・応答妥当性まで踏まえると、確認すべき重要な項目となってきている。
表面妥当性の検証は、受験者・実施者をはじめとしたテスト使用者へのアンケートやインタビューをもとに、態度や情意反応に関するデータを集め、各セクションや項目ごとの受容度を算出することで行われる。

1.2        内容妥当性
内容妥当性とは、第三者としての専門家がテストの測定にかかわる内容が適切かどうかを判断した妥当性である。この内容妥当性は、テスト細目・カリキュラム・作成者の意図・専門家の判断を比較する中で考えられる。これらを比較する際には、判断基準を明記しなければならない。
以下では、内容妥当性の検証方法の一例として、Bachman, Kunnan, Vanniariajan, Lynch(1988)が、ある2つのテストの内容妥当性を比較するために行った手法を示す。まず、彼らはテスト内容を検証するため、言語コミュニケーション能力(CLA, Communicative Language Ability)尺度・テスト方法特徴(TMC, Test Methods Characteristics)尺度という2つの尺度を作成した。前者の言語コミュニケーション能力尺度では、受験者がテストを解く際に求められる能力から5項目―文法・テキスト・発話内行為・社会言語・言語方略―に関して、それぞれの複雑さの観点から、判断者による5段階尺度で評価される。後述のテスト方法特徴(TMC)尺度では、テストの項目・テスト文章に関連した4項目―テスト環境・テスト指示・項目の種類・テストの入力―に関して、それぞれの複雑さと出題頻度の観点から、判断者による3段階尺度で評価される。なお、テスト入力に関しては、さらに6つの下位項目-言語の複雑度・文章構造(rhetorical organization)・文脈化の度合い(degree of contextualization)・テストのトピック・文化的バイアス・語用論的特徴―が存在する。

5段階評価

3段階評価
                                                  
図        Bachman, Kunnan, Vanniariajan, Lynch(1988)における
内容妥当性検証のために用いられる尺度

内容妥当性における検証法を一般化すると、以下の3点として挙げられる。
a.    テストの内容を、シラバスや細目と比較する
b.    授業を実施した教員・科目の専門家・応用言語学者にアンケートやインタビューを行う
c.     専門家が明確な基準をもとに、テスト項目とテキストを評価する

1.3        応答妥当性
応答妥当性とは、受験者がどのような思考過程を辿ってテストを解いているのかを理解することによって、テストが何を測定しているのかを示した妥当性である。それぞれの問題において、テスト作成者の意図した項目が、受験者に適切に解釈されているかを明らかにすることで、妥当性を考えることができる。例えば、クローズテストのそれぞれの空欄を埋めるのに必要な能力について、テスト作成者が想定した能力とは異なる能力を用いて、受験者が解答していた場合には、テストの妥当性は高いとは言えない。
検証法として、テストの最中に思考を発話させて分析を行う・テスト後に録画された受験過程を確認しながらインタビューを行うことが挙げられる。

2.  外的妥当性
外的妥当性は、対象となるテスト外における要素からテストが適切かどうかを判断する妥当性である。外的妥当性の代表例に、併存妥当性(concurrent validity)・予測妥当性(predictive validity)の2つが挙げられる。外的妥当性検証は、相関係数を用いて分析されることがほとんどである。

2.1        併存妥当性
併存妥当性とは、ある受験者から得られた成績と、ほぼ同じ時期に得られた別の測定値を比較し得られた妥当性である。比較するデータは、対象となるテストから独立したものを採用しなければならないため、互いに近い関係にあるテストでない限り、その相関関係から得られる妥当性係数は+0.50 +0.70程度になるのが通常である。比較に用いるデータは、他のテストの結果以外にも、自己評価・教師の評価・同じテストの別の型を使用することができる。併存妥当性で明らかになった内容を用いる利点は大きく2つ挙げられる。1点目に、比較対象のテストが入手しづらい・使用しづらい場合に転用できる可能性が明らかとなることが挙げられる。(e.g. TOEFLの受験は一般校では困難なため、併存妥当性が認められた別の安価な試験での成績を目安として代用する) 2点目に、定期的に新しい試験を作成していかなければならない場合に、過去のテストと測定している能力が異なっていないかを確認できる。(e.g. 毎年異なる問題を作成しなければならない入試において、新・旧形式の試験での相関関係で+0.90以上の併存妥当性が見られ、測定する能力や難易度が大きく変わっていないことが確認できる場合に、新形式の試験を採用することができる) また、テストの結果と、教師による評価・受験者の自己評価を確認することで、両者の結果の関係を明らかにすることも可能である。教師の評価・受験者の自己評価における数値は、通常アンケートを用いることになるが、その数値の求め方は特に留意しなければならない。
併存妥当性の検証法をまとめると、以下の3点がとして挙げられる。
a.    同一の受験者が受けた2つのテストの結果の相関をとる
b.    受験者のテスト得点と教師の順位付けの結果との相関をとる
c.     受験者の受験者自身の評価数値との相関をとる

2.2        予測妥当性
 予測妥当性とは、主に熟達度テスト内において、受験者が得たスコアが将来どのくらい発揮できるかを予測した妥当性である。検証方法として、同一の受験者に対し、一定期間後再度テストを行うことが挙げられる。また、後日テストを行うのではなく、クラス編成後の成績の伸びや教師による評価をもとに予測妥当性を求めることも考えられる。共通して言えることは、一定期間経った際の学習者の変化の予測がその結果と一致しているかどうか、ということである。しかし、予測妥当性の検証には大きく3つの問題点が含まれている。1つ目の問題点に、受験者全員に再テストを行うことが難しいことが挙げられる。(e.g. 留学前の審査に用いられるIELTSTOEFLを留学後の生徒に行った場合には、上位の生徒の予測妥当性しか回収できない) 2つ目の問題点に、後日テストでは、受験者の言語能力以外での能力自体が上がっていることが考えられ、予測妥当性を低くする影響が考えられる。3つ目の問題点は、後日テストの性質が異なるテストを採用した際に限られるが、前後のテストで測定される能力が異なっているため、他の要因が影響することが考えられる。(e.g. TOEFLでの予測妥当性として、先行研究ではGPA(各大学での学期ごとの成績の平均値)を用いることが多いが、GPAには言語能力以外の多くの要素が含まれる。) その他の留意点に、この予測妥当性は一般的にそれほど高い数値にならないことが通常であるため、+0.30程度の数値でも妥当性が見られる、と解釈せざるを得ない場合がある。
予測妥当性の検証法をまとめると、以下の3点として挙げられる
a.    後日受けさせたテストとの両テストとの得点の相関をとる
b.    テスト得点と、しばらくしてからの教師の評価との相関をとる
c.     (クラス編成テストの場合)クラス編成後の成果との相関をとる

3.  構成概念妥当性
 構成概念妥当性はテストの構成そのものに関与する妥当性であるために、上記に挙げた内的妥当性・外的妥当性を統合した上位概念と捉えることができる。構成概念妥当性を検証することは、テストがどの程度理論と合致し、理論を適切に操作化(operationalisation)しているかを検証するプロセスである。以下では、この構成概念妥当性における検証法を6点挙げる。
a.    理論における各構成能力を測定した得点同士の相関をとる
b.    理論における各構成能力を測定した得点と、テスト全体の得点の相関をとる
c.     理論における各構成能力を測定した得点と、その得点をテスト全体から引いた得点と相関をとる
これらの手法は、テスト内の部門に注目し相関をとる点で共通している。テスト内で設置した異なる部門は、異なる能力を測定しているという前提があるため、その相関が+0.30+0.50と低くなるのが通常であり、+0.90などの高い相関が得られた場合には、各部門が同じ特性あるいは技能を測定していることを疑う必要がある。一方で、各部門とテスト全体の相関は、後者がより一般化された能力を測定しているはずなので、+0.70のような高い相関関係が予想される。このテスト全体には、相関関係を求めたい各部門が含まれているため、その分、各部門の相関は高くなっていることが懸念されるため、内的相関にもとづく検証では、「各部門で得られた得点」と「当該部を引いたテスト全体の得点」の相関を求める方が適切である。
d.    テスト得点と学習者のバイオデータ・心理的特性などとの相関をとる
この手法では、相関を扱うという点で上記の方法と共通しているが、相関に用いる数値がテスト以外での、受験者の背景から導き出される点で異なる。受験者の背景―性別・年齢・母語・学習年数など―はテストの結果に影響を与えていることが考えられる。これらのバイオデータが、構成概念妥当性に影響を及ぼす要因を確認しておくことは重要である。また、理論的に関係のある心理特性に注目し、相関を用いる方法もある。たとえば、適性テストの文法感受性(grammatical sensibility)を測定する部門と、それに関連した帰納的学習能力を測定する部門の結果と比較する。このような関連した部門同士はより高い相関を示すことが予想される。
e.     多特性多方法分析を行う
Bachman(1990)の「構成概念妥当性を相関係数を使って設計する古典的アプローチ」、またはCampbell & Fiske(1959)の多特性多方法分析(multitrait - multimethod matrix)を用いることで、収束妥当性(convergent validity)という観点から妥当性を検証することができる。収束妥当性とは、互いに関係のあるテスト同士は高い相関を示し、また関連のないテストでは相関が低くなる、という妥当性である。よって、この多特性多方法分析では、同受験者における、検証する対象のテストでのスコアと同時に、あらかじめ妥当性が明らかにされたテストでのスコアが必要となる。細かい手法に関しては、複雑な統計が絡み、理解が及んでいないので割愛する。
f.     因子分析を行う
因子分析(factor analysis)を用いることで、各因子の関係性をグループに還元できる。行数関数と統計的操作を行う中で、各下位部門での関係性を負荷量(factor loadings)という観点で見出すことで、言語能力のどの側面がどの側面に、どのように関係付けられているのかを予測し、構成概念妥当性の検証を行う。(原理は複雑なため、細かい部分まで理解が及んでいないので今回の発表では割愛させてもらいます。)

4.  妥当性と信頼性の関連
 ここでは、妥当性と信頼性の関連を考える。信頼性とは、テスト全体の首尾一貫性である。しかし、信頼性を高めると妥当性が下がってしまうという問題が考えられる。
 信頼性において重要な観点に、採点における一貫信頼性が挙げられる。採点における測定結果は常に一定の質を保つべきである。しかし、信頼性を最大にするためには、妥当性を犠牲にしなければならない場合が多い。(e.g. 多肢選択問題の数を多くすれば、採点の際の信頼性は高まるが、実際の言語使用能力を図るには不自然な設定になってしまい、妥当性は下がってしまう。)
 また、信頼性の観点には、テスト全体の内部一貫性(consistency reliability)も挙げられる。信頼性においては、テスト全体の項目が均一である方が適切であるとみなされる。しかしながら、3.3構成概念妥当性で述べた通り、各項目が異なる能力を測定している場合においては、異なる下位部門を構成する能力を測定しているため、相関関係は低い方が適切とみなされる。

 妥当性と信頼性の関連において留意しておかなければならない点は、テストの目的に応じて重みづけを考慮し、折り合いをつけることが必要となることである。テスト作成の際には、テスト細目で明記されているテストの設定条件をもとに折り合いをつける必要がある。(なお、本資料では、テスト作成者に求められるテスト細目の説明を省略している。)


参考文献
J. Charles Alderson, Caroline Clapham, Dianne Wall ;Language Test Construction and Evaluation
渡部良典翻訳 言語テストの作成と評価 あたらしい外国語教育のために