《信息论与编码》部分课后练习参考答案1.1 如何理解消息、信号和信息之间的区别和联系。: 信号是载体，是信息的物理体现，是无形信息的具体化。信号在通信系统中传输。消息是信息的载体，信息是指消息中包含的有意义的内容，是消息中的未知成分。1.2 信息论有哪些研究范畴，如何区分？：信息论的研究范畴可分为狭义信息论、广义信息论、广义信息论三类。1.3 有些学生不同意“ 消息中的未知元素只是信息”。例如，他说他从三岁开始背诵李白的诗：“床前明月，怀疑是霜上地面。抬头看明灯，低头思故乡。”第一次读或听这首诗，都会给他带来新的不一样的感受，怎能说这些已知的诗句没有带来他有什么信息吗？请从一般信心论的角度来解释这个现象。：从一般信息论的角度来说，它涉及到信息的社会性和实用性等主观因素，还受知识水平和文化素质的影响. 这位同学在欣赏京剧时也很享受主观因素，所以属于一般信息论的范畴。1.4 从香农的信息论来看，如果分别播放半小时的新闻播报和半小时的轻音乐，观众会收到相同的信息，为什么？：新闻播报为语言，频率为300~3400Hz，轻音乐频率为20~20000Hz。
同时，轻音乐的采样编码数据比语音大。根据符号的熵值，音乐的信息量大于新闻的信息量。但在接收端，根据信息的不确定性，信息量应该分开处理。从广义上讲，关于新闻和音乐的信息量因人而异。第二章2.1 同时掷两个骰子，假设每个骰子朝上的概率为1/6。尝试查找：(1）事件“2和6同时出现”的自信息；（2）“两个3同时出现”事件的自信息；（3 ) 事件“两点中至少有一个是5的自我信息内容”；两点之和的概率分布如下： X 6 7 8 5 9 10 11 121 1 1 1 5 1 5 1 1 1 1P X( ) 36 18 12 9 36 6 36 9 12 18 36H ( X ) p (x ) log p (x )iii111 1111 155 1 12log 2log 2log 2 log 2loglog36 3618 1812 129 936 36 6 63.274位/符号2.2如果你问你的朋友“明天是星期几？” 在不知道今天是星期几的情况下，答案将包含多少？信息量？如果你在知道今天是星期四的情况下问同样的问题，你能从别人的回答中得到多少信息（假设你知道从星期一到星期日的顺序）？：如果你不知道星期几，有7个可能的答案，都是有价值的，所以答案的信息量是：如果你知道星期几，从其他人的答案中获得的信息量为 0 。2 如果你问你的朋友“明天是几号？” 在不知道今天是星期几的情况下，答案中有多少信息？如果你在知道今天是星期四的情况下问同样的问题信息论与编码陈运主编答案完整，你能从别人的回答中得到多少信息（假设你知道从星期一到星期日的顺序）？：如果你不知道星期几，有7个可能的答案，都是有价值的，所以答案的信息量是：如果你知道星期几，从获得的信息量其他人的答案是 0 。2 如果你问你的朋友“明天是几号？” 不知道今天是星期几，答案中有多少信息？如果你在知道今天是星期四的情况下问同样的问题，你能从别人的回答中得到多少信息（假设你知道从星期一到星期日的顺序）？：如果你不知道星期几，有7个可能的答案，都是有价值的，所以答案的信息量是：如果你知道星期几，从获得的信息量其他人的答案是 0 。
2.3 每帧电视画面可以认为是由3*10^5个像素组成，所有像素独立变化，每个像素取128个不同的亮度等级，亮度等级设置为相等出现可能性。每帧图像喊出多少信息？如果一个播音员从大约10000个汉字的词汇中选择1000个字来口述电视画面，那么播音员描述该画面播报的信息量是多少（假设汉字分布均匀且相互独立） ? 播音员在听写中需要使用多少个汉字才能恰当地描述画面？：由于每个像素有128个不同的亮度等级，每个亮度等级出现的概率相等。所以，
如果我们得知“身高1.6米以上的女孩是大学生”，得到了多少信息？：让随机变量X代表女孩的学历Xx1（是大学生）x2（不是大学生） P(X)0.250.75 让随机变量Y代表女孩的身高Yy1 (height>160cm) y2 (height H(X)2所代表的物理意义是非记忆源的不确定性大于记忆源的不确定性，记忆源有更多的结构化信息，可以2.11 设随机变量序列（X YZ）为马尔可夫链，X={a , a , ..., a }, Y={ b , b , ..., b } , Z={ c , c , ...,1 2r1 2s1 2 c } . 设 X 和 Y 之间的转移概率为 P(b|a ) ( i =1, 2, ..., r ; j =1, 2, ... , 小号); Y 和 Z 之间的转移概率 Lj i 为 P(c|b ) ( j = 1, 2, ..., s; k = 1, 2, ..., L)。证明 X 和 Y 之间的转移概率是 k jsP c | 一个 P b | 个人计算机 | bk ij ik jj 1：可以认为从a到c的转换遍历了每一个b，所以P (c| a ) P (ac ) / P (a )ikjk ii Kisss P (abc ) / P (a ) P (a)P(b/a)P(c/ab)/P(a)P(b/a)P(c/ab)ij kiij ik i jij ik i jj 1j 1j 1ss P (b/a)P (c/ b ) ，即 P (c| a )P (b / a )P (c / b ) 成立。
jik jk ij ik jj 1j 12.12 假设离散无记忆源的符号集为 {0, 1}，假设 P(0)=1/4 , P(1) =3/4 . (1） 求源符号的熵。(2)对于一个由100个符号组成的序列，求k为“0”和(100k)“1”的序列的自熵信息量。（3）计算上述序列的熵： (1)11 33 H (X ) p (x ) log p (x )loglog 0.811 bit / symboliii44 44 ( 2)@ >k100k100k133 p (x )i4441003100k I (x ) log p (x ) log41.5 1.585k bitii1004 (3) H (X 100 ) 100H (X ) 100 0.@ >811 81.1 位/符号2.13 具有马尔科夫源，假设 P(x| x )=2/3 , P(x | x )=1/3 , P(x | x )=1, P(x | x )=0, 1 12 11 22 2 尝试画香农's源线图，求源熵：X12/3X11/31XX2022.14 一阶马尔可夫源的状态转移如题图2.2所示，符号源X的集合为{0, 1, 2}，求：(1）平稳后源的概率分布；(2)源熵H；(3)源P时的熵=0 或 P=1，并说明原因。
有329个初始状态，等概率分布 1P (m | ij)32 2 2H 2 P (m | ij) log P (m | ij) 1.585bit/symbol i 0 j 0 m 0010210001122211220的概率每条路径为1/32.16 某阶马尔可夫源的状态转移如题图2.3所示，源符号集X={0, 1, 2 }。试求：(1）源的极限熵H；(2)p取任意值时H取最大值。源的极限熵 H；(2) 当p取任意值时，H取最大值。源的极限熵 H；(2) 当p取任意值时，H取最大值。
1 p1 pp/210p/2p/2 p/2p/2p/221 p问题图2.31 pp/2 p/2：根据香农线图，列出转移概率矩阵P p/21 pp/ 2p / 2 p / 2 1 p 状态0、1、2稳定后的概率分布为W1、W2、W3pp1(1 p )W1W2W3 W1W223 WP W3 得到p W1 (1 p )W2 p W3 W2 计算1WWi 1223i1W1 W2 W3 11W3 可以通过齐次遍历得到 uuvuuv1p p12 H (X ) WiH (X | Wi) 3H (1 p , , ) (1 p ) logp logi32 21 pp2.17 假设一阶马尔可夫source 有 3 个基本符号，即 X={x , x , x }，对应的转移概率为 1 2 3p(x |x )=1/2, p(x |x )=1/2 , p(x | x )=1/2, p(x|x)=1/3, p(x|x)=0, p(x|x)=1/3, p(x|x)=1/3, 1 12 13 11 22 23 21 3 p(x |x )=2/3 , p(x |x )=0 。
试着画一个状态图，找出每个符号的稳态概率。2 33 3 这道题错了 P(x1)=12/31 p(x2)@>=10/31 p(x3)=9/312.18随机变量序列 X={X XX } 通过离散通道 {X;P(Y |X ); Y} ，输出序列为 1 2 NY={YYY } 。尝试证明如果 1 2 N (< @1） P(b|aa ...a; bb ...b) = P(b |a ); jN i1 i1 iN j 1 j 2 jN 1 jN iN(2 ) P(bb ... b |aa ... a ) = P(bb … b |aa …a )j 1 j 2 jN 1 i1 i1 iNj 1 j 2 jN 1 i1 i1 iN 1 那么信道的转移概率为 NP (X | Y) P bb Lb| aa LaP b| aj 1 j 2 j N i1 i 2 iNj k ikk 1: X YLLP ( / ) pb bb / aa aj 1 j 2 jN i1 i 2 iNp bb Lb/ aa Lap b / aa La; bb Lbj 1 j 2 jN 1 i1 i 2 iNjN i1 i2 iN i1 i2 iN 1p bb Lb/ aa 圈 b / aj 1 j 2 jN 1 i1 i 2 iN 1jN iNp bb Lb/ aa 圈 b / ap b / aj 1 j 2 jN 2 i1 i 2 iN 2jN 1 iN 1jN iNN。..p bjk/aikk 12.
试着画出状态转移图，找出源熵。2 2 答案：香农图 2 / 3 1/ 3 问题的转移概率是P，当马尔科夫趋于稳定时，频率分布不会改变，所以 102P x P xP x( 1) ( 1) *( 2 ) *13 P (x ),P (x )P (x ),P (x ) P，即12121P x P xP x( 2 ) ( 1) * 3 ( 2 ) *0312 2 P (x ) P (x ) 1 代入解得到 P (x )、P (x ) 和 HP (xx ) *l bP(x/ x ) , 121 424i jj ii1 j13 2 13 1 1 P ( xx ) P (x )P (x / x )*, P (xx ) P (x )P (x / x ) *1 111 11 212 14 3 24 3 4111 P (xx ) P (x )P (x / x ) *1, P (xx ) P (x )P (x / x ) *0 02 121 22 222 2444 所以 H=1/2*lb3/2+1/4*lb3=0.6887bit/ Symbol K2.20 让第K个扩展源X=X={X XX}通过源X的通道{X;P(Y|X);Y}，
尝试证明 1 2 KK(1） 当源无记忆时，即当 X , X ,…, X 统计独立时，有 IX; Y ≥ IX ; Y ; 1 2Kk kk 1K ( 2）当通道无记忆时，有IX k ;Yk≥IX ;Y ;k 1K (3)当信源和通道都无记忆时，有IX;YIXK ;YK KI X ;Y ;k kk 1 (4) 用熵的概念解释以上三个结果： 第一种方法：(1） 让通道输入连续随机序列X=(X1X2…XN)，输出也是连续随机序列Y= (Y1Y2…YN)，通道的传输概率密度函数为 p (y | x) p (y yLy| xx Lx )1 2N 1 2N x X ,y Y,yY ,xX (i 1,2,L,N )ii ii 因为源没有记忆，即随机序列X中的每个分量都是相互独立的，所以有N p (x )p (x )x X信息论与编码陈运主编答案完整，x Xiiii 1 得到 p (x | y )I (X ;Y) E [log]X ,Yp ( x)p (x | y )E [logN],X Yp (xi )i 1x X ,y Y, xiX i 另外 NNp (x | y )I (X ;Y )p (xy ) logi i dx dyi ii ii ii 1i 1p (x )RRip (x | y )p (xy ) log1 1 dx dy1 11 1p (x ) R1p (x2 | y 2 )p (xy ) logdx dy2 22 2p (x )R2p (xN | y N ) L p (xN y N ) logdxN dyNRp (xN ) 其中 R 是实数集。
因为 LLLL p (x Lxy Ly )dx Ldxdx Ldx dy Ldydy Ldy1N 1 N1i1 i1N 1i1 i 1N XXXXYYYY 所以 1 i1 i1 N 1 i1 i1 N pxy( ii )NI (X ,Y )i ii 1p (x | y )Lp ( x| y )L p (x1LxN y 1Ly N ) log1 1 LNN dx1LdxN dy1LdyNp (x )p (x )X YX Y1N1 1N NNNp (x| y )p (x| y )i iiip (xy ) log i 1Ndxdy E [ log i 1N]XYp (x )X ,Yp (x )iii 1i 1NNp (xi| yi )I (X ;Y ) I (X ;Y)[log i1]i iEi1X ,Yp (x | y )Np xy( i | i )log E [ i1](1)X ,Yp (x | y )Np xy( i | i )log p (xy) i1dxdyXYp (x | y ) 因此，pypxy Lpxydx Ldxdylog( ) ( 1 | 1)( N | N ) 1NXYp y dy pxy dxp xy dx Lp xydxlog( )( 1 | 1) 1( 2 | 2 ) 2( N | N ) NYXXX12Np y dylog( ) (2)Ylog 1 0 其中 (1） 基于 Jensen 不等式。
等式 (2) 是因为 p (y )p (xy )dxp (y )p (x| y )dxii i iiii iXXii 所以 p (x | y )dx 1i iiXi 因此 NI (X ;Y ) I (X ;Y ) 0i ii 1NI (X ;Y ) I (X ;Y)i ii 1 (2) 让通道输入一个连续随机序列 X (X XLX) 并输出一个连续随机序列 1 2N Y (YY LY ) 。由于通道没有记忆，所以有 1 2NNp (y| x ) p (y| x )i ii 1x X ,y Y,xX ,yYii ii X和Y的平均互信息 Np (y| x )NP ( y | x) i i (X ,Y )[log][log i1]i iEEi1X ,Yp (y )X ,Yp (y )NNp (y | x ) 和 I (X ,Y )p (xy ) logi i dx dyi ii ii ii1i1p (y )X Yii iNNp (yi| xi ) 与前半部分相同得到 I (X , Y )[log i1]ii EN,i1X Yp (yi )i1 所以 Np (y )NiI (X ;Y) I ( X , Y )[log i1]i iEi1X ,Yp (y )Np (y )
