「資訊熵」のUnicode(ユニコード)文字とURLエンコード 0g0.org

URLエンコード(UTF-8) :
%E8%B3%87%E8%A8%8A%E7%86%B5

数値文字参照(10進数) :
資訊熵

数値文字参照(16進数) :
資訊熵

資訊熵の説明

Chinese Pronunciation Noun 資訊熵 (information theory, chiefly Taiwan) information entropy Synonyms 信息熵 (xìnxī shāng) (Mainland China)

在信息论中，熵（英語：entropy）是接收的每条消息中包含的信息的平均量，又被稱為信息熵、信源熵、平均自信息量。这里，“消息”代表来自分布或数据流中的事件、样本或特征。（熵最好理解为不确定性的量度而不是确定性的量度，因为越随机的信源的熵越大。）来自信源的另一个特征是样本的概率分布。这里的想法是，比较不可能发生的事情，当它发生了，会提供更多的信息。由于一些其他的原因，把信息（熵）定义为概率分布的对数的相反数是有道理的。事件的概率分布和每个事件的信息量构成了一个随机变量，这个随机变量的均值（即期望）就是这个分布产生的信息量的平均值（即熵）。熵的单位通常为比特，但也用Sh、nat、Hart计量，取决于定义用到对数的底。采用概率分布的对数作为信息的量度的原因是其可加性。例如，投掷一次硬币提供了1 Sh的信息，而掷m次就为m位。更一般地，你需要用log2(n)位来表示一个可以取n个值的变量。在1948年，克劳德·艾尔伍德·香农將熱力學的熵，引入到信息论，因此它又被稱為香农熵(Shannon entropy)。