WOLFRAM

Wolfram 语言与系统参考资料中心

"LanguageExtended（内置分类器）" (内置分类器)

识别文本是何种语言.

类别

更多信息

  • 该分类器假设文本输入是用唯一一种语言编写的. 这些概率反映了对文本是用哪种语言编写的相信概率，而不是语言的比例.
  • 在当前版本中，所有的文本必须用他们的官方字母之一编写.

范例

打开所有单元 关闭所有单元

基本范例  (2)

确定示例列表的语种：

Wolfram Language code: Classify["LanguageExtended", {"the house is blue", "la maison est bleue", "la casa es azul", "das Haus ist blau", "號寫正嗰一部長篇小說", "المنزل باللون الأزرق", "будинок синій", "ตรชายของอั", "ܝܐ ܕܩܐܡܦ ܢ", "גלעד. אור ", "մութիւններ", "ားကို အထူး", "и пщым и у", "성적 욕망에 대한 ", "лакьысра"}]

获取最可能语言的概率：

Wolfram Language code: Classify["LanguageExtended", "منزل ", "TopProbabilities" -> 3]

获取该分类器的 ClassifierFunction：

Wolfram Language code: c = Classify["LanguageExtended"]

将分类器应用于文本列表：

Wolfram Language code: c[{"the house is blue", "la maison est bleue", "la casa es azul", "das Haus ist blau", "در زندگی زخم‌های هست", "房子是蓝色的", "المنزل باللون الأزرق", "будинок синій"}]

范围  (2)

加载对应于内置分类器的 ClassifierFunction：

Wolfram Language code: c = Classify["LanguageExtended"]

获取可能的类：

Wolfram Language code: Short[Information[c, "Classes"], 1]

加载对应于内置分类器的 ClassifierFunction：

Wolfram Language code: c = Classify["LanguageExtended"]

将分类器应用于文本示例列表：

Wolfram Language code: textsamples = {"the house is blue", "la maison est bleue", "la casa es azul", "das Haus ist blau", "號寫正嗰一部長篇小說", "المنزل باللون الأزرق", "будинок синій", "ตรชายของอั", "גלעד. אור ", "մութիւններ", "и пщым и у", "성적 욕망에 대한 "}; c[textsamples]

直译文本示例并对其应用分类器：

Wolfram Language code: trsamples = Transliterate[textsamples] c[trsamples]

选项  (3)

ClassPriors  (1)

使用自定义的 ClassPriors 限制可能的输出：

Wolfram Language code: Classify["LanguageExtended", {"What is this language?", "Qué idioma es ese?", "Quelle est cette langue?"}, ClassPriors -> <|Entity["Language", "English::385w8"] -> 0.5, Entity["Language", "Spanish::77gfp"] -> 0.5|>]

IndeterminateThreshold  (1)

使用自定义的 IndeterminateThreshold：

Wolfram Language code: Classify["LanguageExtended", "منزل", IndeterminateThreshold -> 0.9]

UtilityFunction  (1)

获取分类器的效用函数：

Wolfram Language code: utility = Information[Classify["LanguageExtended"], "UtilityFunction"];

修改效用函数，惩罚 被误分类为 ：

Wolfram Language code: utility[Entity["Language", "Persian::48q57"], Entity["Language", "Bakhtiari::tw2cx"]] = -4;

使用新的效用分类文本：

Wolfram Language code: Classify["LanguageExtended", "مردم", UtilityFunction -> utility]

和默认的效用比较结果：

Wolfram Language code: Classify["LanguageExtended", "مردم"]

可能的问题  (1)

在某些情况下，非语言文本仍被识别为一种语言：

Wolfram Language code: Classify["LanguageExtended", "poivreibflkqwhlqhrgw"]

巧妙范例  (1)

获取带有对应概率的不同的可能语言：

Wolfram Language code: possiblelanguages = Classify["LanguageExtended", "Zu meiner Familie gehören außer mir noch drei weitere Personen", "Probabilities"];

用 WordCloud可是话结果：

Wolfram Language code: WordCloud[possiblelanguages]