G検定
G検定|文を小さな単位へ分ける
QUESTION
文を小さな単位へ分ける
長文をモデルへ渡す前に、扱う単位へ分割する処理はどれですか。
ANSWER & EXPLANATION
正解:D
文章をモデルが扱う語や部分語などの単位に分ける処理です。文章の分割、意味表現、系列変換は異なる処理です。
選択肢のポイント
- A埋め込み表現は語や文を意味上の近さを扱える数値ベクトルで表す方法です。この設問で求める働きとは異なります。
- B系列変換は入力の系列を別の出力系列へ変える課題です。この設問で求める働きとは異なります。
- C感情分析は文章に表れた評価や感情の傾向を分類する課題です。この設問で求める働きとは異なります。
- D正解です。文章をモデルが扱う語や部分語などの単位に分ける処理です。
関連キーワード
- トークン化
- 自然言語処理
参考にした公式情報:日本ディープラーニング協会 G検定の試験範囲(シラバス) / 確認日:2026年9月28日