[압축 알고리즘] 엔트로피 코딩? + 런렝스 부호화 (Run-length encoding)

엔트로피 코딩 (Entropy Coding) 이란? 일반적으로 엔트로피(Entropy)란 '무질서도' 혹은 '불확실성'을 가리킨다. '정보의 양'을 중요시하는 정보공학적 관점에서는 '평균 정보량'을 엔트로피라고 한다. 엔트로피에 대해 설명하자면... 앞으로 발생할 사건에 대해 (확정적인) 정보가 많다면 예측률이 높아진다. 이러한 경우 우리는 사건이 발생해도 별로 놀라지 않는다. 즉, 이 사건은 결과적으로 우리에게 적은 정보를 제공한다. 이를 엔트로피가 낮다고 한다. 반면, 어떤 정보일지 불확실할수록 사건에 대해 예측이 어려워진다. 따라서 이 사건이 발생할 때 우리는 훨씬 유용한 정보를 제공받게 된다. (놀라운 정보가 많다) 이를 엔트로피가 높다고 한다. 예를 들어 동전과 주사위가 있다. 동전을 던져서 발..