信息就是不確定性的消除量

信息是確定性知識的消除量。比如“明天下雨”這個消息，在今天晚上，明天下雨的不確定性為50%，但如果到了第二天，下雨了，“下雨”的不確定性為0，也就是説不確定性的消除量等於50%，因此，“明天下雨”這個消息的信息量為50%。

信息特點別擔心，信息雖然是不確定的，但還是有辦法將它們進行量化的。人們根據信息的概念，可以歸納出信息是有以下的幾個特點的：

1、消息發生的概率P(x)越大，信息量越小反之，發生的概率越小，信息量就越大。可見，信息量（我們用I來表示）和消息發生的概率是相反的關係。

2、 當概率為1時，百分百發生的事，地球人都知道，所以信息量為0。

3、當一個消息是由多個獨立的小消息組成時，那麼這個消息所含信息量應等於各小消息所含信息量的和