Objektspeicher auf Tape mit S3 und höchster Schreibgeschwindigkeit und Sicherheit

Die Software bietet eine Rekordschreibgeschwindigkeit und hohe Flexibilität, die für Anwender unterschiedlicher Kapazitäten geeignet ist. Software-defined Tape kann bis zu mehrere hundert PB übertragen und erreicht eine operative Schreibgeschwindigkeit von 205 MB/s für das Schreiben von 10 MB großen Dateien, was 10-mal schneller als bei normalen Bandsystemen und 20-mal schneller als bei Festplatten ist. Mit dieser Software kann der Benutzer bei sich vor Ort seine eigene private Glacier Cloud installieren und dabei gleichzeitig die Datensicherheit erhöhen und die Speicherkosten optimieren.

Vorteile und Funktionsweise der Software-defined Tape-Lösung auf einen Blick

©Fujifilm

Direkt zur Großansicht der Infografik

Der Heilige Gral der Datenspeicherung: Software-defined Tape ermöglicht eine Rekordschreibgeschwindigkeit

Fujifilm erforscht kontinuierlich neue Anwendungsbereiche des Tapes, um es noch effizienter und benutzerfreundlicher zu gestalten. Während sich Fujifilm mit der Frage der Objektspeicherung befasste, wurde direkt die Gelegenheit genutzt, die grundlegende Frage zu beantworten, mit der alle Speichertechnologien konfrontiert sind: Die Schreibgeschwindigkeit.

Beim Sichern einer großen Anzahl kleiner Dateien kann die Schreibgeschwindigkeit beeinträchtigt werden, auch Systemausfälle können auftreten. Dies wird durch abnehmende Dateigrößen noch verstärkt. Die lineare Struktur der Objektspeicherung macht dies noch wichtiger, da jedes Objekt einzeln gespeichert wird. Infolgedessen kann die Verschlechterung der Geschwindigkeit schwerwiegender sein. Dies steht im Gegensatz zu einem herkömmlichen Dateisystem, das aufgrund seiner Struktur die Gruppierung von Dateien in Archivordnern oder Containern ermöglicht.

Bandlaufwerke verfügen über spezielle Anwendungen, die dem Phänomen der nachlassenden Schreibgeschwindigkeit entgegenwirken können. Durch den Buffer, der für Dateien über 500 MB wirksam ist, und das Skip Sync-System von IBM für Dateien zwischen 200 MB und 500 MB wird das Risiko beispielsweise gemindert. Das Schreiben einer großen Anzahl sehr kleiner Dateien verlangsamt jedoch trotzdem zwangsläufig die Sicherungsvorgänge. Das Risiko besteht darin, dass die operative Geschwindigkeit eines LTO-Laufwerks unter 10-15 MB/s und bei einer Festplatte sogar unter 5 MB/s sinkt.

Um das Problem der Schreibgeschwindigkeit zu lösen, besteht das Prinzip der Fujifilm Software-defined Tape-Lösung darin, die Anhäufung von Schreibstopps zwischen kleinen Dateien zu verhindern. Die Software gruppiert die Objekte in Pakete, bevor sie auf Band gespeichert werden. Es wird eine „einzelne Datei mit 1 GB bis 10 GB“ generiert, die in einem Schritt auf Tape geschrieben wird. Das OTFormat, welches eine von Fujifilm neu entwickelte Technologie darstellt, Daten auf Band zu schreiben, reduziert signifikant die Anzahl der Schreibstopps durch das Schreiben der gepackten Daten. Durch Software-defined Tape erreichen wir eine spektakuläre Übertragungsrate von 205 MB/s für die Sicherung von 10 MB großen Dateien.

©Fujifilm

Direkt zur Großansicht der Infografik

Fujifilm hat sich für das gängige und benutzerfreundliche S3-Interface entschieden

Um die Kommunikation zwischen dem Bandsystem und der größtmöglichen Anzahl von Objektspeicherlösungen zu erleichtern, verwendet die Fujifilm Software-defined Tape-Lösung die nativen Protokolle S3 und S3 Glacier. Das S3-Protokoll, das unter Objektspeicherlösungen weit verbreitet ist, ist zum Standard für die Übertragung von Objekten geworden. S3 ist ein freies und offenes Datenübertragungsprotokoll. Darüber hinaus erleichtert die Veröffentlichung der APIs die Programmierung. Aufgrund der Beliebtheit der Cloud-Dienste von Amazon und die Verfügbarkeit der S3-APIs implementieren Softwarehersteller und Benutzer diese APIs in ihre Lösungen und Infrastrukturen. Mit dem S3 Glacier-Protokoll können Benutzer die Objekte nahtlos von Tape wieder zurück auf den objektbasierten Festplattenspeicher spielen.

Höhere Sicherheit der Daten und Metadaten

Der Verlust von Metadaten kann den Zugriff auf Daten erheblich beeinträchtigen. Aus diesem Grund hat sich Fujifilm entschieden, sich neben allen spezifischen Funktionen der Objektspeicherung auf den Schutz von Metadaten zu fokussieren.

Metadaten werden als Suchkriterien verwendet, um die wiederherzustellenden Objekte zu finden. Ohne Metadaten ist es schwierig oder sogar unmöglich zu wissen, welches Objekt welchen Daten entspricht. In solchen Fällen kann der Zugriff auf Daten zu einem echten Problem werden.

Zusätzlich zu den zwei Kopien, die auf dem Server gespeichert werden, befiehlt die Software systematisch und automatisch das Schreiben von vier Kopien der Metadaten mit den Daten auf dasselbe Band. Der Anwender profitiert außerdem von allen Vorteilen, die die Tape-Technologie mit sich bringt: Schutz vor Viren und Hackern, einer 10.000-mal höheren Datenintegrität als die der Festplatte, einer Archivierungsdauer von über 30 Jahren, die 7-mal länger ist als auf Festplatte, aufgrund der vielen mechanischen Teile einer Platte. Dies sind nur einige Vorteile der Tape-Technologie im Vergleich zu anderen Speichertechnologien.

Damit Sie ruhig schlafen können: Software-defined Tape passt sich allen Kapazitäten bis zu hunderten von PB an

Die Software-defined Tape-Lösung ist skalierbar und die Flexibilität des Software-Abonnements trägt zu Fujifilms Streben nach Einfachheit bei. Es unterstützt bis zu 128 Milliarden Objekte, 64 Server und 256 Bandlaufwerke. Die Software ist mit LTO7- und LTO8-Laufwerken kompatibel. Anfang 2021 wird es mit den IBM TS1155- und TS1160-Laufwerken (3592-Technonolgie) und später im selben Jahr mit LTO9 kompatibel sein.

Die Fujifilm-Software ist unabhängig von Hardwaremarken und funktioniert mit den meisten auf dem Markt verfügbaren Libraries, von der IBM TS4300 Library mit 280 Slots bis hin zu mehreren IBM TS4500 Libraries mit jeweils bis zu 23.700 LTO-Slots. Außerdem können Anwender ihre Server frei auswählen, sofern sie den erforderlichen Leistungsanforderungen entsprechen.

Das Software-Abonnement basiert sowohl auf der Archivierungskapazität als auch auf der Vertragsdauer. Die Flexibilität ermöglicht dem Benutzer, jedes unerwartete Datenwachstum abzudecken. Einfach bis ins Detail, enthält die Softwarelizenz bereits die Anzahl der Tapes, die je nach Wahl des Anwenders zum Schreiben von einer bis drei Kopien erforderlich sind. Fujifilms Software führt diese Kopien automatisch und gleichzeitig durch. Bei einem 10 PB-Abonnement über fünf Jahre sind zwei Kopien im Standard enthalten, das entspricht 1.700 LTO8-Bänder oder umgerechnet 20 PB Kapazität an Tapes, die bereits mit der Software geliefert werden.

Für die Benutzerfreundlichkeit fügte Fujifilm Funktionen hinzu, mit denen Anwender das Archiv direkt über die Benutzeroberfläche der Objektspeicheranwendung verwalten können. Außerdem ist ein Path-Failover System enthalten, um die Betriebskontinuität sicherzustellen.

Die gesamte Philosophie dieser Archivierungssoftware lässt sich mit dem starken Wunsch von Fujifilm erklären, dem Anwender das Leben zu erleichtern. Software-defined Tape erfüllt sowohl die spezifischen Herausforderungen, die sich aus der Objektspeicherung ergeben, als auch die hohen Anforderungen der Unternehmen im Bereich der langfristigen Datenaufbewahrung, insbesondere in Bezug auf die Datensicherheit und Kostenoptimierung. Die Gesamtkosten für die Verwendung von Tape sind im Durchschnitt fünfmal niedriger als für Festplatten, insbesondere aufgrund des geringen ökologischen Fußabdrucks der Festplattentechnologie. Darüber hinaus nutzt Fujifilm die Entwicklung im Objektspeicherbereich, um das Problem der Schreibgeschwindigkeit zu revolutionieren.