菊地 泰成
生成AIを利用したソフトウェアを用いた、理系教科における書字の支援についての研究
報告要旨
理系科目の学習において、学習者に書字の困難がある場合、数式を含む学習へのアクセスが困難となる問題がある。本研究では、生成AIによって日本語による数式の読み方をLaTeXに変換するソフトウェアを作成し、実用性を検討した。その結果、本ソフトウェアは、日本語で表記された、四則演算、ルート、分数、ギリシャ文字を含む式を、LaTeXに変換し出力することができ、生成AIを用いた支援機器は数式の書字の支援として用いることができる可能性が示された。
報告原稿
1.はじめに
本報告では、生成AIを用いて自然言語による数式表現をTeXのコードで表現された数式に変換、翻訳するソフトウェアを開発し、その書字支援機器としての応用可能性について述べる。
理系教科の学習においては数式の式変形の表現などの場面において「書き」による学習が必要とされる。しかし、学習障害(LD)、視覚障害、肢体不自由等による書字の困難がある学習者は、数式を扱う必要のある分野の学習へのアクセスがもとより困難になってしまう問題がある。
従来から、書字に代わる数式を表現するための手段として、代筆者による支援や、ICT機器を利用する方法があった。
代筆者による支援では、支援を受けている学習者が自然言語を用いて数式の表現を読み上げ等によって代筆者に伝達し、代筆者が数式を筆記することで、「書き」の問題のない学習者と同じように紙面上に数式を表現する手段を提供している。
ICT機器上で数式を表現する方法としては数学文章用組版システムのTeXおよび、TeXに基づいて動作する文章処理システムLaTeXが存在している。以下、この文章では、TeX/LaTeX上で処理することができるコードで表現された数式を「TeX形式の数式」と呼ぶ。TeX形式の数式を扱うことのできるエディタは数多く存在し(代表的な物としてMicrosoft Wordの数式モード、オンライン上のOverleaf、障害者支援向けのChatty Infty)、コンピュータ上での汎用的な数式表現となっている。
代筆者による支援を用いた方法では、支援対象の学習者は自然言語を用いて代筆者に自らが表現したい数式を指示することができる。
一方で、ICT機器やPC上では、数式はTeXに代表されるコードとして表現する必要がある。しかし、自然言語における数式の表現と、TeX形式の数式は異なる構造を持っているため、単にお互いを置き換えることはできない。TeX形式の数式を扱う場合、学習者は自らが表現したい数式を考えるだけでなく、同時にTeX形式の場合の表現も考える必要がある。
支援機器を開発する一つの考え方として既存の「身のまわりのテクノロジー(アルテク)」を利用する方法があり、実際に学習障害をもつ児童に向けたソフトウェア開発に応用されている(巖淵・松田 2016)。既存の、自然言語からプログラムなどのコードを生成する技術としては生成AIがあげられる。生成AIを翻訳者として用いて自然言語で表現された数式を解釈し、TeX形式の数式に変換することができれば、代筆者による支援の特徴をICTを用いた支援機器でも再現できるのではないかと考えられる。
本報告では、生成AIを用いたアプリケーションによって、自然言語での数式表現をLaTeXによる表現に変換することを試み、実用性を検討した。
2.方法
WebブラウザのGoogle Chrome 上で動作する拡張機能(以下、本ソフトウェア)を作成して、サンプルとなる自然言語による数式の表現をTeX形式の数式として出力することができるか検証した。
本ソフトウェアは拡張機能のSidepanel 上で動作する。Webブラウザ上で数式をディスプレイスタイルで表示するためにKaTeXを用いた。生成AIはChatGPT API経由で、ChatGPT-4o miniモデルを呼び出す構成とした。画面上には入力用と出力用の2つのテキストボックスと、入力を生成AIに送信する、出力をクリップボードにコピーする、それぞれのテキストボックスの内容をクリアするボタンと、ディスプレイスタイルの数式を表示する領域がある。
使用想定として、入力される情報はタイプされた数式の読み、および音声認識で入力された数式の読みである。入力用テキストボックスの情報は生成AIによってTeX形式の数式に変換され出力用テキストボックスに表示される。この結果をクリップボードに保存し、KaTeX/TeX形式の数式が使用できるエディタ(マークダウン記法に対応した物を含む)にコピーアンドペーストし利用するという流れを想定している。また、変換されたTeX形式の数式をディスプレイスタイルの数式としてWebブラウザ上に表示する機能を持つ。
検証に用いた数式の表現は(1) 2次方程式の解の公式の右辺をタイプしたもの、(2)シュレーディンガー方程式の形をした式を音声入力したものであり、四則演算、ルート、分数、ギリシャ文字といった数式を構成する基本的な要素を含んでいる。
3.結果
本ソフトウェアは検証に用いた日本語における数式の読み方で表現された数式をTeX形式の数式として出力することができた。生成された生成AIを用いたソフトウェアは、書字の支援機器としての応用できる可能性が示された。
4.結語
本報告で、生成AIを用いたソフトウェアを自然言語で表現された数式をTeX形式に変換するものとして機能させ、書字の支援を行うことができる可能性について、実際にソフトウェアを制作し検討した。
今後の課題として、セキュアなソフトウェアの構築と、UIをアクセシビリティの高いものに作り変える必要があることがあげられる。現在時点では、学習障害(LD)の支援に限定して開発を進めているが、将来的には、肢体不自由、視覚障害による「書き」の困難の支援にもひろげたいと考えている。
参考文献
・巖淵守・松田 英子, 2016, 「身の回りにあるテクノロジー(アルテク)を利用した支援インターフェイス」 『計測と制御』55(2):102-106
本発表に関して公表すべきCOIはありません。