マルチモーダル｜画像・図面・音声を読むAI

写真や図面をAIに見せれば、文章と同じように中身を正しく読んでくれると思うかもしれません。しかし、画像の読み取りには苦手な所があり、小さな文字や物の数を読み違えることもあるのです。

この記事では、マルチモーダルの意味と、AIが画像で読み違えやすい所を解説します。図面の画像を読ませた答えのうち、どこを確かめればよいかも分かります。

マルチモーダルは、画像や音声も入力にできることです。

マルチモーダルとは

マルチモーダルとは、文章のほかに、画像・音声など複数の種類のデータを入力として扱えることです。マルチモーダルのAIは、こうした入力を組み合わせて扱うのが特徴です。

文章で質問に答えるAIのサービスの ChatGPT と Claude も、画像を付けた質問に対応しています（2026年10月時点）。

たとえば、写真を受け取って、写っている場所の特徴を文章にまとめることもできます。

ChatGPT と Claude の説明で、画像の読み取りの苦手な所として挙がっているもののうち、図面に関わるのは次の5つです（2026年10月時点）。

小さな文字や画質の低い画像は、読み違えの起きやすい入力です。ChatGPT では、小さな文字は画像を大きくすると読みやすくなります。

ChatGPT では、日本語のように英字でない文字の画像も読みにくいとされています。日本の図面の文字を読ませるときに、気をつける所です。

回転した文字や画像も、読み違えの起きやすい入力に含まれます。図面の画像を、横に倒れた向きのまま渡すのも、この場合の1つです。

ChatGPT の苦手な所には、実線・破線・点線のように線の種類や色が変わる図も挙がっています。図面では、線の種類が意味を持つ所が注意の要る所です。

ChatGPT は正確な位置を求める作業を苦手とし、Claude の答える位置や座標はおおよその値です。図のどこにあるかを細かく言わせても、そのまま使えるとは限りません。

物の数は、ChatGPT・Claude ともおおよその値です。Claude では、小さな物がたくさんあると正確でないことがあります。

図面の中の部屋や建具の数を数えさせるときが、この苦手に当たる場面です。

図面の画像をAIに読ませた答えは、そのまま使わず、元の図面で確かめましょう。AIの読み取りは、小さな文字を読み違えたり、位置や数がおおよその値になったりすることがあるためです。

確かめる所は、寸法・数・位置のように、読み違えると答えの中身が変わる所です。とくに、小さな文字で書かれた寸法と、たくさんある物の数は、読み違えやすい所に当たります。

渡す画像に向くのは、文字が読める大きさで、向きをそろえたものです。ChatGPT では、画像が何か、どこを見てほしいかを文章で添えることも勧められています。

マルチモーダルは、文章のほかに画像・音声などを入力として扱えることです。画像の読み取りで間違えやすい所は、次の5つです。

図面の画像を読ませたら、寸法と数と位置を、元の図面で確かめてみてください。