Perché Zip è in grado di comprimere file singoli meglio di più file con lo stesso contenuto?

Essere in grado di comprimere i nostri file in modo che sia più facile condividerli e / o trasportarli può rendere le nostre vite elettroniche molto più semplici, ma a volte possiamo vedere risultati di ridimensionamento dispari o imprevisti dopo averli compressi. Perché? Il post di Q & A di SuperUser di oggi ha le risposte alle domande di un lettore confuso.

La sessione di domande e risposte di oggi ci viene fornita per gentile concessione di SuperUser, una suddivisione di Stack Exchange, un raggruppamento di siti Web di domande e risposte basato sulla comunità.

Foto per gentile concessione di Jean-Etienne Minh-Duy Poirrier (Flickr).

La domanda

Il lettore SuperUser sixtyfootersdude vuole sapere perché zip è in grado di comprimere singoli file meglio di più file con lo stesso tipo di contenuto:

Supponiamo di avere 10.000 file XML e di inviarli ad un amico. Prima di inviarli, vorrei comprimerli.

Metodo 1: non comprimerli

risultati:

Metodo 2: Zip ogni file separatamente e inviarlo 10.000 file XML zippati

Comando:

risultati:

Metodo 3: creare un file zip singolo contenente tutti i 10.000 file XML

Comando:

risultati:

Metodo 4: concatenare i file in un singolo file e comprimerlo

Comando:

risultati:

Domande

• Perché ottengo risultati così drammaticamente migliori quando sto comprimendo un singolo file?
• Mi aspettavo di ottenere risultati drasticamente migliori usando il metodo 3 piuttosto che il metodo 2, ma non lo faccio. Perchè è questo?
• Questo comportamento è specifico per zip? Se provassi a usare Gzip, otterrei risultati diversi?

Informazioni addizionali

Meta Data

Una delle risposte fornite suggerisce che la differenza è il metadati di sistema che è memorizzato nel file zip. Non credo che questo possa essere il caso. Per testarlo, ho fatto quanto segue:

Il file zip risultante è 1,4 MB. Ciò significa che ci sono ancora circa dieci MB di spazio non spiegato.

Perché zip è in grado di comprimere singoli file meglio di più file con lo stesso tipo di contenuto?

La risposta

Collaboratori SuperUser Alan Shutko e Aganju hanno la risposta per noi. Prima di tutto, Alan Shutko:

La compressione Zip si basa su pattern ripetitivi nei dati da comprimere e la compressione migliora man mano che il file è lungo, poiché è possibile trovare e utilizzare modelli sempre più lunghi.

Semplificato, se comprimi un file, il dizionario che associa i codici (brevi) ai modelli (più lunghi) è necessariamente contenuto in ogni file zip risultante; se si esegue il zip di un file lungo, il dizionario viene "riutilizzato" e diventa ancora più efficace su tutto il contenuto.

Se i tuoi file sono anche un po 'simili (come sempre il testo è), il riutilizzo del' dizionario 'diventa molto efficiente e il risultato è un file zip totale molto più piccolo.

Seguito dalla risposta di Aganju:

In zip, ogni file viene compresso separatamente. È l'opposto compressione solida, cioè, i file vengono compressi insieme. 7-zip e Rar utilizzano una compressione solida per impostazione predefinita. Gzip e Bzip2 non possono comprimere più file, quindi Tar viene usato per primo, con lo stesso effetto della compressione solida.

Poiché i file xml hanno una struttura simile (e probabilmente contenuti simili), se i file vengono compressi insieme, la compressione sarà più alta.

Ad esempio, se un file contiene la stringa ""E il compressore ha già trovato quella stringa in un altro file, la sostituirà con un piccolo puntatore alla corrispondenza precedente. Se il compressore non utilizza la compressione solida, la prima occorrenza della stringa nel file verrà registrata come a letterale, che è più grande.