读心术的小游戏 🔗

信息论 🔗

1. 达到不失真的信源压缩编码的极限（最低）编码速率是多少？
   关于信源编码。 极限速率是信源的熵。 每个随机过程都有一个固有的复杂性，等于该随机过程的熵。

2. 无差错传输信息的临界传输速率是多少？
   关于信道编码。 在此之前，人们认为增加信道的传输速率总要引起错误概率的增加， 所以要使错误概率为0，则传输熟虑只能为0.

   香农： 只要信息传输速率小于信道容量，传输的错误概率可以任意小。 反过来，如果超过信道容量，则传输错误是不可避免的。

纠删码的原理 🔗

1. 矩阵乘法编码冗余，矩阵求逆恢复丢失
   
2. 解决了可靠性，再谈一致性，性能等才有意义。
   
3. 通信系统的问题： 可靠性和有效性。纠错码，纠删码都可以改善通信系统的可靠性。
   

Erasure Code （EC纠删码），一种前向错误纠正技术。

应用： 网络传输中避免包的丢失，存储系统中利用来提高可靠性。优势：与多副本而言，以较小的数据冗余提高可靠性。劣势：编码方式需要大量计算。可以处理数据丢失，无法容忍数据

定义：原始数据分 n 份，增加 m 份，通过n + m份任意n份可还原原始数据。丢失<=m份的数据仍然可以恢复。

信道编码（线性分组码， 汉明码，循环码，BCH码）

纠错码： 汉明码，turbo码, polar , LDPC 等todo