En hvilken som helst datafil består av byte. En byte kan ta verdier fra 0 til 255. Informasjonsentropi er en statistisk parameter som viser sannsynligheten for forekomst av visse byte i en fil.
Du kan visuelt vurdere graden av entropi ved hjelp av et histogram - fordelingen av sannsynligheten for å gjenta de samme bytene i en fil. Fra entropien til filen kan vi gjette hvilken type fil som er foran oss, og bare se dens histogram.
For demonstrasjon, la oss ta tre filer av forskjellige typer og sammenligne deres histogrammer. La den første være en tekstfil (*. TXT). Histogrammet er vist i figuren:
Tekstfilen inneholder bare tekst. Hvert tegn i teksten er kodet med visse byte i samsvar med kodingstabellen. Selv om det er et stort antall kodingstyper, er det åpenbart at det er et begrenset antall alfanumeriske tegn, som vanligvis er mindre enn 255. Derfor er bare noen områder opptatt på det første histogrammet, og noen byte er ikke i det hele tatt.
Følgende fil vil være i PDF-format:
Denne filen inneholder alle mulige byte, ettersom PDF er kodet annerledes enn tekstfiler. Den lagrer mye serviceinformasjon: formatering, skrifttyper, bilder osv. Men histogrammet viser at noen av byte forekommer med tilnærmet lik sannsynlighet, mens andre - mye oftere enn andre. Derfor er det flere skarpe sprekker på histogrammet, og generelt har det et ganske "fillete" utseende, selv om det opptar hele tilgjengelige bredde.
Og den siste filen er zippet i 7Z-format:
Dette histogrammet har to hovedfunksjoner: For det første finnes alle byte i den zip-filen med mer eller mindre lik sannsynlighet (en ganske flat toppkant), og for det andre er det praktisk talt ikke ledig plass over histogrammet, noe som indikerer et nesten fullstendig fravær av redundans en slik fil. Derfor kan vi konkludere med at arkiveringsalgoritmen på en spesiell måte "blander" bitene i filen for å oppnå deres maksimale ensartede fordeling.
Dermed er entropi i informatikk, som i fysikk, et mål på forstyrrelsen i systemet, i dette tilfellet forstyrrelsen i fordelingen av byte i filen. Entropy lar deg bedømme graden av komprimering av filen og - indirekte - om typen.
