携帯アプリ｢Seeing AI｣はカメラが捉えたものを言葉で説明してくれる／PC画面の文字情報も入手出来る

【投稿者コメント】

【キーワード】

[スマホの便利アプリ]､[撮影対象が何かを教示]､[PC画面文字読取可能]

【件名】

｢携帯アプリ｢Seeing AI｣はカメラが捉えたものを言葉で説明してくれる／PC画面の文字情報も入手出来る｣

【投稿本文】

　https://blognouser.hatenablog.com/entry/2023/12/13/203538 にて､｢アプリの｢Snipping Tool｣等を使用した画面の文字情報の入手手順｣を提示したが､下記の通り､スマホアプリの｢Seeing AI｣を使ってもPC画面の文字情報は入手出来る｡

　スマホアプリの｢Seeing AI｣は､本来は､視覚障害者向けのアプリであり､カメラのレンズを向けただけで､添付図２～添付図12の通り､撮影対象が何かを音声でも教えてくれる便利アプリだ｡

【スマホでPCの画面の文字情報を入手する手順】

①アプリ｢Seeing AI｣を起動してカメラのレンズをPC画面に向ける
②下のメニューの左から2番目の📄を選択
③矩形領域を指定して画像を撮影(添付図13_撮影したPC画面の画像)

④撮影画像が表示される
⑤右下隅メニューの□↑をクリック
⑥表示されたメニューの｢テキストの共有｣をクリック
⑦GoogleドライブへUpload
⑧PCでGoogleドライブを開いて､Uploadした｢document.html｣を開いて､メモ帳へコピペする(添付図14_Uploadした｢document.html｣)

【以下転載】

https://k-tai.watch.impress.co.jp/docs/column/teppan/1556724.html
｢マイクロソフトのアプリ｢Seeing AI｣はカメラが捉えたものを言葉で説明してくれる｣
　　　　　　　　　　　　　　　　ケータイWatch　日沼諭史　2023年12月22日 00:00

　スマホを､もっと楽しく快適に使うには､アプリを活用しよう｡本コーナーでは､続々登場する旬なアプリの中から編集部が厳選した､スマホユーザー必携の"てっぱん"アプリをご紹介します！

◇　　　◇　　　◇

添付図１_スマホアプリ名：｢Seeing AI｣､開発者：Microsoft Corporation､価格：無料､対応OS：iOS 12.0以降､Android 6.0以降､カテゴリ：仕事

　視覚障害で目の前のものがよく見えない､という人だけでなく､書いてある文字が難しくて読めない､外国の紙幣の額面を知りたい､という人も､その場ですかさず｢Seeing AI｣を起動しよう｡カメラを被写体に向ければ､すぐさまテキストや音声で教えてくれるはずだ｡

添付図２_カメラで何を捉えているかがわかる｢Seeing AI｣

■周囲のものをAIで認識し､説明してくれる

　｢Seeing AI｣は､カメラで捉えた内容をテキストや音声で教えてくれるアプリ｡8つの機能が用意されており､AIによって｢カメラで今何を捉えているか｣を認識し､それをテキストや音声で理解できる仕組みになっている｡主に視覚障害者向けとしているが､一般のユーザーでも応用次第でいろいろな用途に活用できる｡

　たとえば看板や印刷物に書かれている文言を読み上げたり､テキスト化したりできる機能がある｡テキスト化されたものはクリップボードにコピーするなどして再利用できるため､知らない単語や読めない漢字があるときに役立つ｡多言語に対応していることから､発音の仕方を学びたいときにも使えそうだ｡

添付図３_左端の｢T｣アイコンを選択すると､被写体の文字をすぐに読み上げる

添付図４_左から2番目のドキュメントアイコンを選ぶと､いわゆるOCRでテキストを抽出する

■物や人の姿､色､明るさ､紙幣もわかる

　風景や物を平易な表現で説明してくれる機能では､画面内にある複数のオブジェクトを認識して､1つ1つ画面タップしてそれが何であるかを音声で知ることが可能｡目の前にどんな人物が何人いるのか､音声とテキストで説明してくれる機能もある｡あくまでも｢見た目の色や形や様子｣を説明するだけで､具体的な固有名詞を調べるためのツールとしては使えないことに注意が必要だ｡

　他には色の名前を音声で教えてくれる機能､被写体の明るさをトーンの高低で把握できる機能も用意されている｡さらに､各国の紙幣を認識し､それがいくらであるかを音声で知らせる機能もある｡ただ､手元にある貨幣で試してみた限りでは､日本円やオーストラリアドルは正しく認識したものの､イギリスポンドは誤認識した｡

　また､現状は紙幣のみの対応で硬貨は認識せず､対応通貨も限られている｡外国の貨幣は額面がわかりにくいときもあるので､カメラ撮影だけで正確に把握できるようになれば誰にとっても便利なはずだ｡このあたりは今後の改善に期待したいところ｡

添付図５_花の名前はわからないが､目の前の状況はよくわかる

添付図６_｢ネギ畑｣と正確に教えてくれた

添付図７_｢道路の排水口｣をきちんと認識