WOLFRAM

Wolfram言語 ＆ システムドキュメントセンター

"LanguageExtended" (組込み分類器)

テキストが自然言語の何語のものかを識別する．

クラス

詳細

  • この分類器はテキスト入力が一意的な言語で書かれていると仮定する．確率は，言語の比率ではなく，テキストが書かれた言語についての信念を反映している．
  • 現行バージョンでは，すべての言語がいずれかの公式アルファベットで書かれていなければならない．

例題

すべて開く すべて閉じる

例  (2)

例題リストが何語か判別する：

Wolfram Language code: Classify["LanguageExtended", {"the house is blue", "la maison est bleue", "la casa es azul", "das Haus ist blau", "號寫正嗰一部長篇小說", "المنزل باللون الأزرق", "будинок синій", "ตรชายของอั", "ܝܐ ܕܩܐܡܦ ܢ", "גלעד. אור ", "մութիւններ", "ားကို အထူး", "и пщым и у", "성적 욕망에 대한 ", "лакьысра"}]

最も可能性が高い言語の確率を得る：

Wolfram Language code: Classify["LanguageExtended", "منزل ", "TopProbabilities" -> 3]

この分類器のためのClassifierFunctionを得る：

Wolfram Language code: c = Classify["LanguageExtended"]

この分類器をテキストのリストに適用する：

Wolfram Language code: c[{"the house is blue", "la maison est bleue", "la casa es azul", "das Haus ist blau", "در زندگی زخم‌های هست", "房子是蓝色的", "المنزل باللون الأزرق", "будинок синій"}]

スコープ  (2)

組込みの分類器に対応するClassifierFunctionをロードする：

Wolfram Language code: c = Classify["LanguageExtended"]

使用可能なクラスを得る：

Wolfram Language code: Short[Information[c, "Classes"], 1]

組込みの分類器に対応するClassifierFunctionをロードする：

Wolfram Language code: c = Classify["LanguageExtended"]

この分類器をテキストサンプルのリストに適用する：

Wolfram Language code: textsamples = {"the house is blue", "la maison est bleue", "la casa es azul", "das Haus ist blau", "號寫正嗰一部長篇小說", "المنزل باللون الأزرق", "будинок синій", "ตรชายของอั", "גלעד. אור ", "մութիւններ", "и пщым и у", "성적 욕망에 대한 "}; c[textsamples]

サンプルのテキストを音訳し，音訳したテキストに分類器を適用する：

Wolfram Language code: trsamples = Transliterate[textsamples] c[trsamples]

オプション  (3)

ClassPriors  (1)

カスタムのClassPriorsを使って可能な出力を制限する：

Wolfram Language code: Classify["LanguageExtended", {"What is this language?", "Qué idioma es ese?", "Quelle est cette langue?"}, ClassPriors -> <|Entity["Language", "English::385w8"] -> 0.5, Entity["Language", "Spanish::77gfp"] -> 0.5|>]

IndeterminateThreshold  (1)

カスタムのIndeterminateThresholdを使う：

Wolfram Language code: Classify["LanguageExtended", "منزل", IndeterminateThreshold -> 0.9]

UtilityFunction  (1)

分類器の効用関数を入手する：

Wolfram Language code: utility = Information[Classify["LanguageExtended"], "UtilityFunction"];

この効用関数に変更を加えて，間違ってに分類されたにペナルティを科す：

Wolfram Language code: utility[Entity["Language", "Persian::48q57"], Entity["Language", "Bakhtiari::tw2cx"]] = -4;

新たな効用関数を使ってテキストを分類する：

Wolfram Language code: Classify["LanguageExtended", "مردم", UtilityFunction -> utility]

結果をデフォルトの効用関数のものと比較する：

Wolfram Language code: Classify["LanguageExtended", "مردم"]

考えられる問題  (1)

場合によっては，言語ではないテキストが言語として認識されることがある：

Wolfram Language code: Classify["LanguageExtended", "poivreibflkqwhlqhrgw"]

おもしろい例題  (1)

さまざまな可能な言語をその確率とともに入手する：

Wolfram Language code: possiblelanguages = Classify["LanguageExtended", "Zu meiner Familie gehören außer mir noch drei weitere Personen", "Probabilities"];

WordCloudを使って結果を可視化する：

Wolfram Language code: WordCloud[possiblelanguages]