Versantスピーキングテストの導入 ①事例分析による導入目的の分類と注意点

VERSANTの日本語版サイトには「導入事例」と題したページがあり、計16社の導入事例
が紹介されています。ここに記載された事例とその他のネット上で入手可能な事例を検討すると、導入目的をいくつかのパターンに分けることが可能です。以下、企業側のVERSANTの導入目的と、その際における注意点につき、記載したいと思います。
なお、私は企業研修講師として英語のみならず、マネジメント研修（アセスメント、リーダーシップ、ロジカルシンキング等）も含めて、プランニングの段階から参画した経験もございますので、お問い合わせがありましたら、トップページより所定の入力フォーム（準備中）でご連絡いただければ、ご返信致します。（現在はスケジュール過密のため、時間が出来次第本格的にご対応致します。）

研修の効果測定

【メリット】効果測定における講師の主観性の排除

サイト上の事例の数を見ると、英語研修の効果測定目的にVERSANTが導入されているという事例が多いようです。事例にも記載されていますが、研修の効果測定においては、講師の主観性を排するということが非常に重要なポイントとなります。理想的には、コース開始前と後で評価をする者と、研修を実施する講師は、峻別されていることが望ましいのですが、なかなか費用の面から難しく、研修講師が評価者を兼ねることが、実際的には多くなってしまいます。そうすると、研修講師は研修実施前の評価点をやや低く、実施後の評価点をやや高く採点することとなり、こうしないと講師が「私は能無しです」といっているようなもので、講師の自己防衛のために仕方のない側面もあります。そのような研修の現場において、手っ取り早く講師の主観性を除いた形で、数値化して効果が示せるというのは、VERSANTの利点だと思います。

【デメリット】研修内容がVERSANTスピーキングテストに寄せられてしまう可能性

効果測定をVERSANTで行うとなった場合、講師の側がコースの内容をVERSANTに寄せてくる、といった事態が考えられます。本来スピーキングの研修は、テーマだけを決めてのフリーなディスカッションや、ロールプレー等を通じて、受講生が英語で話したいことを自由に話せるようにサポートすることが目的です。
一方で、VERSANTはAI技術による自動評価のため、聞いたことをそのまま復唱する形式のテストがメインとなっています。（PartFは自動評価の対象外です。）そのため、VERSANTが研修の評価に採用されるとなると、コミュニケーションにおいて非本質的な部分が強調されかねません。企業の研修担当の方は、このような弊害が発生するリスクを念頭におき、時折コースをオブザーブする等して、スピーキングの研修の劣化を事前に予防することが重要です。

研修のモチベーションの維持

【メリット】頻繁な客観的な効果測定により、伸びが実感できる

受講生の側も、講師が行う評価は純粋に客観的なものとはなり得ないことに気づいており、そのような環境下において、VERSANTを数ヶ月に1回の割合で定期的に行えば、モチベーションの維持につながることが考えられます。

【デメリット】長期的にVERSANTの伸びが続くかどうかは怪しい

ネット上でVERSANTスピーキングテストで受験体験談を調べると、かなりTOEIC等の点数で英語に自信があった方でも玉砕しているケースが多いようで、1年、2年という長期的なスパンで英語学習を継続した場合で、VERSANTの点数が伸び続けるかどうかは、やや怪しいという気がします。「発音」と「流暢さ」の2項目で50％のウェイトを占めるテストなので、もともとがカタカナ英語の方は、ここを解体的にトレーニングして一から出直さないことには、どこかの時点で得点の伸びが頭打ちとなってしまうことが考えられます。そうなると、かえってモチベーションが減退してしまうリスクが考えられ、企業の研修担当者の方は、その点に先手を打って策を講じておくことが重要となります。

英会話力の強みと改善分野の把握

【メリット】4項目に分解して採点してくれる

VERSANTは総合点のみならず、「発音」「流暢さ」「文章構文」「語彙」の4項目に分解した点数を表示してくれるため、おおよその強み弱みの傾向が掴めそうな気がします。

【デメリット】各評価項目への要因分解のロジックが適切でない可能性がある

過去記事にも書きましたが、いくつかの評価項目はその点数が意味するものに注意を払う必要があります。

文章構文

英語版の文書の定義を確認すると、この項目には「リスニング、短期記憶、発話の際の文章化」という3つの要素が混在していることが示されています。なぜそうなるかといえば、受験者の回答が正解と大きく異なった場合、AI評価ではその原因がどこにあるか、分解して突き止められないからです。したがって、この項目の点数が低い方は、自分自身と向き合い徹底的に自己分析を行う必要があります。詳しくは、下記の過去記事をご参照下さい。

VERSANTスピーキングテスト「文章構文」のスコア

発音

この点は私の仮説の域を出ないのですが、単語より小さい単位の文法ミスは、「文章構文」ではなく、「発音」からの減点として処理されている可能性があります。例えば、「women」というべきところを「woman」といったら、人間であれば文法の知識の欠如と判断しますが、AIは発音のミスなのか、文法上のミスなのか峻別できるのでしょうか？この点、VERSANT側からの詳細なロジックの提供が期待されるところです。

語彙

語彙はPart3（質問）とPart5（要約）からのみ、採点されます。まず、Part3の1〜2問を除き、語彙のレベルは非常に平易で、純粋に語彙力を測定するための難易度の分布が乏しく、従ってこの項目の点数は結果として、リスニング能力の有無を示す結果となるのではないかと思います。また、Part5では「自分の言葉で」物語を再現することを奨励しているので、採点にあたってはLatent Semantic Analysis（潜在意味分析）という技術が採用されています。この技術の穴を、自分の言葉で論破できるだけの勉強を、私はまだしていないのですが、導入企業のご担当者の方はベンダーの担当者を呼び出して説明を受けることが可能だと思いますので、疑念があれば徹底的に究明されることをお勧め致します。

人材選抜

【メリット】選抜プロセスの納得感の醸成

これはVERSANTサイトの記載によればJTさんの事例で、海外研修への参加者の選抜のために納得感のある選考を行うということが、最大の課題であったとのことです。私は、これは日本語のみで実施するものだったのですが、ヒューマンアセスメントのアセッサーとして、様々な一部上場企業の中間管理職者の選抜に関わる仕事に6年程度従事していたことがあるので、選抜においては選抜者と落選者双方に納得感が醸成されなければならない、というのは痛切に認識できます。VERSANTが納得感の醸成の一助になっているというのであれば、それは好ましいことだとは思います。
なぜ、VERSANTが下す評価に被評価者は納得するのでしょうか？１つは公平性でしょう。AIは人を好き嫌いで評価をするということはありません。また、録音した音源を網羅的に使用し、正確（個人的に正確性には疑問符がつきます）な評価を行なっていると期待できます。

【デメリット】VERSANTにおける評価項目は、選抜の目的に照らして適切か

その一方で、選抜のためのスピーキングのテストとして、そもそも評価項目が妥当であるか、という点には注意を要するでしょう。別記事でも述べましたが、VERSANTはAI技術を用いた自動評価であるため、概念化部分（何をどのように言うかを考える）を評価できません。評価の公平性・網羅性・正確性は納得の源泉となり得ますが、そもそもその評価対象が試験の使用目的に照らして適切であるか否かという点については、批判的に検討すべきでしょう。

多数の候補者の短期かつ低コストのスピーキング能力の評価

【メリット】短納期・低コスト

これはグロービスさんの事例であり、英語でのコースの受講希望者が急増したため、通常のネイティブによる15分間の電話面談に変え、短納期のVERSANTを使用したとのことです。このVERSANTの使用法は1つの理想例だと思います。通常の選抜はネイティブが行なっているとのことであり、これはグロービスさんがAI評価の限界を認識しているからと、私は想像しています。ビジネスにはボリュームが急増する局面がしばしばあり、その中でも歩みを止めないためには、VERSANTを代替的に使用するのは好ましいことだと思います。

【デメリット】質への懸念

一方で、選抜試験としてのVERSANTの質については、明確ではありません。グロービスさんでは授業内のディスカッションでも英語を使用するとのことですが、VERSANTで選ばれた受講生のディスカッションの質は、電話面接で選抜された受講生と比べてどうなのでしょうか？VERESANTを検証するという意味で、グロービスさんは豊富なデータをお持ちのようなので、データの公開を切に望みます。

採用試験におけるTOEIC L&Rの補完としてスピーキングを評価

【メリット】電話という実際的な形式で真の英語力が測れる

まず、この事例企業においては、「英語のテストスコアーが高かったので採用したが、実際のビジネス現場では全然コミュニケーションが取れなかった（電話や会議の場で）」という切実な課題があったようです。もはや「TOEIC900でも全然使えない」というのは、よく聞く「あるある」として普及しています。
少し話がそれますが、TOEICの点数と英語での実務能力に乖離がある点には同意しますが、TOEICの点数と英語での実務能力の間の乖離には多くの場合明確な原因が存在し、その原因に対策を打つことで、その人材を更に成長させることが可能です。なのでTOEICの点数は、高得点で使えない人材がいるからと言って、無視すべきものではありません。
この事例企業では、VERSANTが電話形式（現在はアプリからの受験で、電話受験はない）であることを高く買っている様子です。これは一理あって、ビデオ会議や対面での面談であれば、相手の視覚的な非言語情報（具体的には表情や身振り）によって、我々の聴覚のコミュニケーションは随分と助けられます。電話形式、そして現在の音声ガイダンスによるアプリ形式であれば、視覚的な助けを排除できるため、より厳しいく英語のリスニング能力を見極められるという点には同意致します。

【デメリット】どの程度のVERSANTの得点で採用ラインとするか

過去記事にて検討したしましたが、「TOEIC高、VERSANT低」は、日本人ビジネスマンの一般的な傾向のようです。VERSANTでどのくらいとれば、英語で「使える人材」であることを期待できるのでしょうか？TOEICもVERSANTもCEFRバンドでC1以上であれば、英語力では全く問題がないと考えてよいでしょう。両者のCEFRバンドがB2以上であれば（VERSANTでは58点以上）、英語を使用したビジネス経験につき、面談で突っ込んで質問すべきでしょう。VERSANTのバンドがB1以下となってくると、怪しくなってきます。海外拠点側に毎回議事録を作成させる等により、「英語事故」の発生を防止する必要性が生じます。

英語に起因する顧客不満度への対処

【メリット】ノンネイティブの英語に「理解のない」顧客に対して、一定水準のサービスを保つには最良の事例

これは、日本企業ではなく、アメリカに本社のある企業の事例ですが、グローバルコールセンターで十分な言語能力を持たないことを原因としたクレームが増加したため、採用時のプロセスにVERSANTを追加したとのことです。これは以下の理由から、私はVERSANTの導入の最良形の1つと考えています。

正しく業務の特性と試験の特性が合致しており、このような時にのみ、VERSANTが活きてくるのだと思います。VERSANTスピーキングテストの中身について英語で詳細な公開文書が存在するにも関わらず熟読もせず、「発信力はVERSANTで評価」みたいな単純な思考だと、また「TOEIC900でも使えない」的なVERSANT版の「あるある」が誕生することとなるでしょう。

Versantスピーキングテスト対策全般については、下記のまとめページをご覧下さい。

Versantスピーキング対策 決定版