インターセクショナルなフレームワークを適応してAIを開発しよう

著者紹介：Kendra Gaunt（ケンドラ・ゴーント）氏は、LGBTQの若者の自殺防止と危機介入に取り組む世界最大の団体The Trevor Project（トレバー・プロジェクト）のデータ・AIプロダクト担当者。2019年のGoogle AI Impact Challengeで助成対象団体に選ばれたトレバー・プロジェクトは現在、サポートの提供範囲を広げてさらに多くの若者の命を救うために、新しいAIアプリケーションの導入を進めている。

ーーー

今や、テック業界で働く人の大部分は、我々の中に存在する潜在的な偏見がAIアプリケーションにも反映されてしまうことを理解している。AIアプリケーションは現在、日常生活を本質的に変えることができるだけでなく、人間の意思決定に影響を及ぼすことさえも可能なほどに高度な機能を有するようになっている。

AIシステムの普及と高性能化が進めば進むほど、テック業界は「不公平な偏見を示すAIモデルや機械学習（ML）モデルの使用を回避するには何をすべきか」という問題への取り組みを急がなければならない。

AIから受ける影響やAIとの関わり合い方は、個人が持つ複合的なアイデンティティーに左右されるため、各人各様である。このことを踏まえたうえで、インターセクショナルな枠組みを適用して万人に役立つAIを開発するには、どうすればよいのだろうか。

インターセクショナリティの意味と重要性

この難題に取り組むには、まず立ち止まって「インターセクショナリティ」の意味を定義することが重要だ。インターセクショナリティとは、Kimberlé Crenshaw（キンバリー・クレンショー）によって定義された用語で、人間は特有のアイデンティティーを複数持っており、それが組み合わさることによってどのような経験が生み出されるのか、また、その人に対する世間の見方がどのように形成されるのかを、深く理解するための枠組みである。

これには、個人特有のアイデンティティーに関連して発生する差別や特権も含まれる。多くの人は複数の周縁的アイデンティティーを有しており、それらが組み合わさることによって複合的な効果が生まれることを、我々はよく知っている。

The Trevor Project（トレバー・プロジェクト）は、LGBTQの若者の自殺防止と危機介入に取り組む世界最大の団体である。当団体は、助けを必要とするLGBTQの若者ひとりひとりをサポートすることを目指しており、トランスジェンダーやノンバイナリ―であることに加えて黒人、少数部族、有色人種などのアイデンティティーを持つ人々が、特有のストレスや問題に晒されている実情を目にしている。

そのため、当団体の技術チームが、この多様性に富むコミュニティでの使用を目的としたAI（具体的には、自殺リスクの判定精度を高めて常に効果的なサポートを提供するためのAI）の開発に着手する際、我々は、文化的な特性への理解が欠如しているせいでメンタルヘルス面でのサポートが受けにくくなるという現状をさらに悪化させたり、提出された連絡先情報だけでジェンダーを判別するという不公平な偏見をさらに助長したりすることのないよう、十分に注意する必要があった。

当団体がサポートを提供しているコミュニティは特に多様性に富んでいるとはいえ、潜在的な偏見というのはどんなコンテキストにおいても存在し、どの特性に属する人でも傷つける場合がある。だからこそ、どの技術チームも、公平でインターセクショナルなAIモデルを開発できるはずであり、そうすべきである。なぜなら、インターセクショナリティこそ、多様性を尊重するコミュニティを育て、どんな背景を持つ人にも対応できるツールを開発するための鍵だからだ。

そのためにはまず、開発するモデルを使用する人が持つ特性をできるだけ多く特定することが必要だ。加えて、それらの特性の交差部分に属するグループを判別する必要がある。誰がどんな理由でそのモデルを使用するのかを明確に定義することが第1段階である。誰がどんな問題で困っているのかが理解できれば、解決策を特定できるからだ。次に、各ユーザーがそのモデルを使用する状況を、最初から最後まで具体的にシミュレートしてみることだ。そうすれば、どの団体、スタートアップ、企業も、トレーニングからフィードバックまで、AI開発の各段階にインターセクショナリティを組み込むためにどんな戦略を実践すべきかが見えてくるだろう。

データセットとトレーニング

AIモデルの質は、トレーニングに使われるデータによって決まる。しかし、収集されたデータの内容、測定、アノテーション（タグ付け）はどれも、本質的に人間による意思決定に基づいているため、トレーニング用のデータセットに潜在的な偏見が含まれてしまう場合がある。例えば、2019年に行われた研究では、患者のニーズを判断するためのデータセットに欠陥があり、そのデータセットでトレーニングされた医療リスクの予測アルゴリズムが人種偏見を示したため、本来は治療対象となるはずの黒人患者のリスク度が白人患者よりも低いと判断され、その黒人患者が高リスク患者向けの治療を要する患者であると判定される確率が低くなってしまった例が報告されている。

公平なシステムを構築するには、そのモデルを使う人たちの特性を反映したデータセットを使ってトレーニングを行う必要がある。言い換えれば、データに十分反映されていない可能性があるのはどんな人たちなのかを見きわめるということだ。しかし、ここでさらに「周縁的な特性を持つ人に関するデータが全体的に不足している」という、もっと全般的な問題についても論じなければならない。これはシステム上の問題として対処すべきものである。なぜなら、データが希薄だと、システムが公平であるかどうかという点も、被差別グループのニーズが満たされているかどうかという点も、判断が難しくなるためだ。

自分の組織や会社で使用するトレーニングデータの質を分析するにはまず、データの量とソースについて検討して、どんな偏見、偏向、誤りが含まれているのかを特定し、データの質を改善する方法を見つける必要がある。

データセットに偏見が含まれている場合、その組織が「インターセクショナル」として定義する特定のデータを増幅させたり増加させたりすることによって、問題を解決できる場合もある。早い段階でこの措置を講じておけば、モデルのトレーニング関数に反映させることができ、システムの客観性を最大限に確保するのに役立つ。さもなければ、知らないうちにトレーニング関数が関連性の低い結果を算出するよう最適化されていた、というような事態になりかねない。

トレバー・プロジェクトの場合、他の層に比べてメンタルヘルスサービスを利用するのが困難な層や、他のグループよりもデータサンプルが少ない層から発せられるシグナルを増幅させる必要があるかもしれない。非常に重要なこの措置を講じなければ、当団体が開発するAIシステムのユーザーにとってはあまり役に立たない結果が算出されてしまうだろう。

評価

AIモデルの評価は継続的なプロセスであり、変化し続ける環境に組織が対応していくのを助けるものだ。公平性の評価はかつて、人種だけ、ジェンダーだけ、民族性だけ、というように、どれか1つの特性に関する公平性を調べるものだった。しかし、これからのテック業界は、複数の特性の組み合わせに基づいて分けたグループをどのように比較すれば、すべての特性に対する公平性を評価できるのか、その方法を考案しなければならない。

公平性を測定するにはまず、不利な立場に置かれる可能性のあるインターセクショナル集団と、有利な立場を得る可能性のあるインターセクショナル集団とを定義し、次いで、特定のメトリクス（例えば偽陰性率など）が両者の間で異なるかどうかを調べる。そして、そのメトリクスが両者の間で異なることが何を意味するのか、どのグループがシステムの中で差別されているのかをさらに調査する別の方法はないか、そのグループが差別されている理由は何か、といった点を開発段階で検討する必要がある。

公平性を確保し、不公平や偏見を軽減させるには、初めからそのモデルのユーザー層に基づいて開発し、モニタリングするのが最善の方法である。モデルの評価結果が出たら、次はそれに基づいて、統計上の被差別グループを意図的に優遇し、不公平な偏見が最少化されるようにモデルをトレーニングしてみることだ。アルゴリズムの公平性は社会的な状況の変化によって低下する可能性があるため、公平性を確保する設計を開発初期から組み込むことが、あらゆる層の人を公平に扱うモデルの構築につながる。

フィードバックとコラボレーション

AI製品の開発とレビューを行う際には、多様性に富む人々、つまりアイデンティティーだけでなく、所持スキル、製品の使用頻度、経験年数などの点でも異なる背景を持つ人々に参加してもらう必要がある。また、ステークホルダーと、問題や偏見を特定するシステムによって影響を受ける人たちの意見も聞く必要がある。

解決策のブレインストーミングにはエンジニアの力を借りよう。トレバー・プロジェクトでは、インターセクショナル集団を定義する際、当団体の危機介入プログラムに直接関与しているチームと、そのチームの成果を活用している人たち（研究チーム、危機サービスチーム、技術チームなど）と協力した。その後、システムの利用開始と同時に、ステークホルダーと、システムと実際にやり取りするユーザーからフィードバックを集めた。

結局のところ、インターセクショナルなAIを開発するために「これさえやっておけばいい」という画一的なアプローチ方法は存在しない。トレバー・プロジェクトでは、当団体の業務、現時点での知識、サポートを提供する特定のコミュニティを念頭に置いて開発方法を考案した。当団体は、モデルを一度作ったらそれで終わり、というアプローチではなく、知識の増加にともなって進化を続けていくアプローチを取っている。他の企業や組織は別のアプローチでインターセクショナルなAIを構築するかもしれないが、当団体には、より公平なAIシステムを構築すべき道義的責任がある。なぜなら、当団体が開発するAIは、社会に存在する不公平な偏見を強調する（最悪の場合は増幅させる）力を持っているからだ。

AIシステムが使用される事例やコミュニティにもよるが、特定の偏見が増幅されると、すでに差別的な扱いを受けている人々にさらなる悪影響が及ぶ可能性がある。同時に、インターセクショナルな枠組みに従って開発されたAIは、あらゆる人の生活の質を向上させる力を持つ。トレバー・プロジェクトは、テック業界の技術チーム、各分野の専門家、意思決定者が、業界全体の変化を促す指針を策定することについて真剣に考え、サポート対象のコミュニティの特性を確実に反映したAIモデルの開発を目指すことを強く願っている。