AI用語事典
自然言語処理
natural language processing
自然言語処理とは、普段人間が使用している言葉(言語)をコンピューターに認識させる技術のこと。プログラミング言語との違いを明確にするため「自然言語」という言葉が使われている。人工知能および言語学の一分野。
誰かと会話や考えを分かち合おうと思ったら、人々は必ず「言葉」を使用する。しかし、その一方で言葉には絶対的なルールというものがほぼ存在しない。同じ意味でも文法が異なるのは普通だし、伝えることが主目的なので、お互いに理解できれば良しとする例も多い。人間にとっては気楽な部分もあるが、コンピューターにとってはひどく曖昧で、ゆえに取り扱いが難しい分野といえる。
仕組みとしては、基本的に「①形態素解析→②構文解析→③意味解析→④文脈解析」の順に行われる。それぞれの説明は以下の通りである。
・形態素解析……辞書ツール等を用い、自然言語を単語ごとに最小の単位(分割できないもの)として分割する。例えば「広い空と庭園に咲いた花々が美しい」なら「広い、空、と、庭園、に、咲いた、花々、が、美しい」と分けられる。
・構文解析……上記の形態素解析にて分けた単語の関係性を解析する作業。主語や述語、名詞句などといったカテゴリーに文章を分類してゆく。
・意味解析……文章の内容について、意味を詳しく解析する作業。上記の解析によって関連性を見ながら、例えば「広い、という言葉は庭園にもかかっているのか?」「美しい、には花だけではなく空も入るのか?」といった内容を探ってゆくのである。
・文脈解析……複数の文章を通して文脈を解析する作業。例えば上記の文章に「私はそれに感動して彼女の方を見た」と加えると、中身はより複雑になる。上記の作業を繰り返しつつ、2文以上の関連まで探って文章自体の理解を深める、というのが文脈解析である。
コンピューターにとって特に難しいのは下2つの作業とされる。それでも昨今は機械学習の発展によって自然言語処理もかなり進化。自動翻訳システムの精度なども人間に近づいており、実用化への道は拓けつつある。
AI用語解説:×AI編集部監修