256.systems - Kompression

Schnelle verlustfreie Kompression von zeitlich korrelierten 16 bit Daten

Moderne Messinstrumente liefern oftmals mehrere GigaBytes pro Sekunde an Daten. Um Festplattenplatz zu sparen, können diese Daten komprimiert werden. Herkömmliche Kompressionsalgorithmen sind allerdings nicht schnell genug und würden das Einlesen der Daten ausbremsen. Ein Kompressionsalgorithmus hingegen, der oberhalb der Lese- und Schreibgeschwindigkeit von Festplatten arbeitet, spart Platz und ermöglicht es sogar noch mit einer höheren Geschwindigkeit als die der Festplatte Daten zu lesen und zu schreiben.

Beispiel: Messdaten erreichen den Rechner mit 2 GB/s und sollen auf eine Festplatte geschrieben werden, die aber eine Schreibgeschwindigkeit von nur 1 GB/s hat. Wenn ein Kompressionsalgorithmus mit mehr als 2 GB/s komprimieren kann und die Daten auf die Hälfte oder weniger komprimiert, dann hat es den gleichen Effekt wie eine doppelt so schnelle und doppelt so große Festplatte.

fc16 (fast compression 16 bit)

Da viele Messdaten digitalisierte Analogsignale mit 16 bit Auflösung sind, wurde das Programm fc16 entwickelt, das speziell auf solche Daten zugeschnitten ist. Typische Messdaten, mit mittlerem Rauschen und gelegentlichen Spikes, werden mit 2-3 GB/s pro Rechenkern (auf einem low-power Intel i5 Prozessor) verlustfrei auf die Hälfte der ursprünglichen Größe komprimiert. Möglich wird das durch einen ausgeklügelten Algorithmus, der an die Hardware angepasst ist und AVX2 (Advanced Vector Extensions 2) nutzt. Benchmarks zeigen, dass fc16 derzeit das optimalste Kompressionsprogramm für 16 bit Daten ist (siehe Benchmark-Ergebnisse unten).

Kontakt

Für Anfragen zu fc16 und anderen schnellen Kompressionsalgorithmen steht 256.systems zur Verfügung.

Benchmark 1: Gerda

*fc16* im Vergleich zu *zstd*, *snappy*, *TurboPFOR* und anderen Kompressionsprogrammen, am Beispiel von Daten des Gerda Experiments
**Links:** Kompressionsgeschwindigkeit.
**Mitte:** Dekompressionsgeschwindigkeit.
**Rechts:** Kompressionsrate.

Benchmark 2: Experimente am MPIK

*fc16* im Vergleich zu anderen Kompressionsprogrammen, am Beispiel von mehreren Experimenten am MPIK (Resultate aller Experimente gemittelt)
**Links:** Mittlere Kompressionsrate im Vergleich zu mittlerer Kompressionsgeschwindigkeit.
**Rechts:** Mittlere Kompressionsrate im Vergleich zu mittlerer Dekompressionsgeschwindigkeit.

Benchmark 3: Gesamtperformance

**fc16** hat von allen Kompressionsalgorithmen die höchste kombinierte Kompressions- und Dekompressionsgeschwindigkeit v = (v_c+v_d)/(2*ratio) ; v ist hier also der Mittelwert von Kompressions- und Dekompressionsgeschwindigkeit geteilt durch die Kompressionsrate und gibt somit den mittleren Lese- und Schreibdurchsatz der unkomprimierten Daten an.