WOLFRAM

Wolfram言語 ＆ システムドキュメントセンター

"Language" (組込み分類器)

テキストがどの自然言語のものかを識別する．

クラス

詳細

  • この分類器はテキスト入力が一意的な言語で書かれていると仮定する．確率は，言語の比率ではなく，テキストがどの言語で書かれているのかについての信念を反映するものである．
  • この分類器は，テキストの量が多い場合は文章の断片をランダムに選択して全体としての言語を判定する．
  • 現行バージョンでは，すべての言語がいずれかの公式アルファベットで書かれていなければならない．

例題

すべて開く すべて閉じる

例  (2)

例のリストの言語を判別する：

Wolfram Language code: Classify["Language", {"the house is blue", "la maison est bleue", "la casa es azul", "das Haus ist blau", "房子是蓝色的", "المنزل باللون الأزرق", "будинок синій"}]

最も可能性の高い言語の確率を得る：

Wolfram Language code: Classify["Language", "ella", "TopProbabilities" -> 3]

この分類器のClassifierFunctionを得る：

Wolfram Language code: c = Classify["Language"]

この分類器をテキストのリストに適用する：

Wolfram Language code: c[{"the house is blue", "la maison est bleue", "la casa es azul", "das Haus ist blau", "در زندگی زخم‌های هست", "房子是蓝色的", "المنزل باللون الأزرق", "будинок синій"}]

スコープ  (1)

組込みの分類器に対応するClassifierFunctionをロードする：

Wolfram Language code: c = Classify["Language"]

使用可能なクラスを得る：

Wolfram Language code: Information[c, "Classes"]

オプション  (3)

ClassPriors  (1)

カスタムのClassPriorsを使って可能な出力を制限する：

Wolfram Language code: Classify["Language", {"What is this language?", "¿Qué idioma es ese?", "Quelle est cette langue?"}, ClassPriors -> <|Entity["Language", "English"] -> 0.5, Entity["Language", "Spanish"] -> 0.5|>]

IndeterminateThreshold  (1)

カスタムのIndeterminateThresholdを使う：

Wolfram Language code: Classify["Language", "المنزل", IndeterminateThreshold -> 0.9]

UtilityFunction  (1)

分類器の効用関数を得る：

Wolfram Language code: utility = Information[Classify["Language"], "UtilityFunction"];

この効用関数に変更を加えてが誤ってと分類された場合にペナルティを科すようにする：

Wolfram Language code: utility[Entity["Language", "Persian"], Entity["Language", "Arabic"]] = -1.;

新たな効用関数を使ってテキストを分類する：

Wolfram Language code: Classify["Language", "منزل", UtilityFunction -> utility]

デフォルトの効用関数の結果と比較する：

Wolfram Language code: Classify["Language", "منزل"]

考えられる問題  (1)

場合によっては，非言語テキストが特定の言語として認識されることがある：

Wolfram Language code: Classify["Language", "poivreibflkqwhlqhrgw"]

おもしろい例題  (1)

可能性がある各言語を対応する確率とともに得る：

Wolfram Language code: possiblelanguages = Classify["Language", "Zu meiner Familie gehören außer mir noch drei weitere Personen", "Probabilities"];

WordCloudを使って結果を可視化する：

Wolfram Language code: WordCloud[possiblelanguages]