Entropia de Shannon

El segon principi de la termodinàmica estableix el creixement de l'entropia: la matèria i l'energia només pot canviar en un sentit, és a dir, la màxima probabilitat dels sistemes és la seva progressiva desorganització i, finalment, la seva homogeneïtzació amb l'ambient. Els sistemes tancats estan irremeiablement condemnats a la desorganització. No obstant això hi ha sistemes que, almenys temporalment, reverteixen aquesta tendència en augmentar els seus estats d'organització.


Els éssers vius sembla que són capaços de moure's en direcció contrària al procés entròpic, però això és així temporalment, perquè poden absorbir energia lliure de l'entorn, incrementat la seva complexitat i organització. L'ésser humà en ser una espècie amb un gran desenvolupament evolutiu i elevat pes necessita un gran flux d'energia per a la seva existència. I es capaç de trobar aquesta energia.

Però l'entropia és incompatible amb el creixement quantitatiu indefinit (basat en el consum creixent de bens finits). Cada disminució localitzada de l'entropia, per l'acció de l'ésser humà o d'una màquina, va acompanyada d'un augment encara més gran de l'entropia de l'entorn

La noció de Entropia remet a la termodinàmica i a la mecànica estadística però, després de l'èxit conegut per la Teoria matemàtica de la comunicació, de C. Shannon (1948), -els instruments de càlcul arrenquen de les operacions formals emprades en la mecànica estadísticament la similitud operativa per mesurar els intercanvis energètics i les transmissions de missatges, confluir a unificar en un mateix model l'estudi del canvi en la naturalesa i en la societat.

Font: Viquipèdia

L'entropia de Shannon, formulada per Claude Shannon és una funció matemàtica que intuïtivament es correspon amb la quantitat d'informació continguda o lliurada per una font d'informació. Aquesta font pot ser un text escrit en una llengua, un senyal elèctric, un fitxer d'ordinador o qualsevol (col·lecció de bytes). Des de la perspectiva d'un receptor, com més informació diferent emet la font, més gran és l'entropia (o incertesa sobre el que emet la font), i viceversa. A més el receptor rep la informació sobre el missatge, més entropia (incertesa) vis-à-vis quin missatge disminució de la llum d'aquest augment de la informació. La definició d'entropia d'una font que Shannon és tal que la font més és redundant, conté menys informació. En absència de limitacions, l'entropia és màxima per a una font on tots els símbols són igualment probables.

En el cas particular d'un sistema de Telecomunicacions, l'entropia de la font (emissor) que indica la incertesa de que el receptor d'aquesta font serà transmesa. Per exemple, una font considera enviar sempre el mateix símbol, diuen que la lletra 'a', té zero d'entropia, és a dir, mínima. De fet, un receptor que només coneix les estadístiques de la font de transmissió és assegurar-se que el pròxim símbol serà una 'a', sense cometre un error. El receptor no necessita per rebre el senyal per eliminar la incertesa que s'ha transmès per la font, ja que no causa perill. Per contra, si la font es considera enviar una 'a' la meitat de temps i una 'b' l'altra meitat, el receptor no està segur de la lletra següent a rebre. L'entropia de la font en aquest cas és diferent de zero (positiva) i quantitativament representen la incertesa en la informació de la font. Des de la perspectiva del receptor, l'entropia indica la quantitat d'informació que necessita per aconseguir eliminar per complet la incertesa (o dubte) sobre el que la font ha transmès.


Comentaris