Document ID: /fineweb-2-swissfilter-quality_10-filterrobots/filtered/03599.jsonl.gz/1187

Offene Fragen zur Langzeitarchivierung
PDF ganzer Text mit Anmerkungen und Literaturhinweisen
Mit der nun vollzogenen Umstellung der Herstellung und der Verbreitung von Filmen auf digitale Träger stellt sich die Frage der Langzeitarchivierung neu. Nach einem Artikel im CinéBulletin schlägt die Cinémathèque zusammen mit dem Bundesamtes für Kultur vor, die digital hergestellten Filme auf ein Zwischennegativ auszubelichten. Bekannterweise halten gut gelagerte Filme über hundert Jahre lang. Dies würde 20-25'000 Franken für die Ausbelichtung respektive 28'600 Franken für die Gesamtkosten mit Lagerung während 30 Jahren kosten. Eine digitale Konservierung würde hingegen über den gleichen Zeitraum hinweg hinweg das Zehnfache davon kosten. Man verzichtet deshalb auf die Langzeitarchivierung der digitalen Daten.
Offen ist, ob die Ausbelichtung weiterhin in der Schweiz stattfinden kann. In dieser Hinsicht ist auch eine Motion von Nationalrat Matthias Aebischer hängig. Offen ist auch die Finanzierung.
Es gibt kein öffentliches Projektdossier, weshalb ich mich im folgenden erlaube, einige Fragen zu stellen und Anmerkungen hinzuzufügen. Ich stütze mich hier insbesondere auf zwei Studien, jene von 2007 der amerikanischen Filmakademie mit dem Titel «The Digital Dilemma» und jene von 2012 im Auftrag der EU mit dem Titel «Digital Agenda for European Film Heritage». Eine dritte Studie des CNC von 2011 « collecter et conserver les films du dépôt légal fournis sur support numérique» stützt sich in den Zahlen im Wesentlichen auf die amerikanische Studie, zieht aber daraus eigene Schlüsse.
Die EU-Studie «Digital Agenda for European Film Heritage» von 2012 hingegen wendet sich entschieden gegen die Ausbelichtung auf Film und stellt auch fest, dass fast alle Filmarchive dagegen seien: "A transfer onto film of digital-only works (i.e. works that only existed in a digital format and were never distributed on film) does not ensure the preservation of the images as they were originally shown and experienced by the audience as the image characteristics of film and digital projection clearly differ. For this reason (and for the high costs), this model is clearly dismissed by virtually all FHIs."
Die EU-Studie spricht von 25-30'000 € für ein Farb-Internegativ und von 9 € passiven Lagerkosten im Jahr. Digital Dilemma berechnet als Kosten 1059 $ im Jahr als Amortisation auf 30 Jahre.
Eine Ausbelichtung als Farbseparation würde nach der EU-Studie jedoch 100'000 € kosten. Digital Dilemma schätzt diese Kosten auf 65-80'000 $12. Für das CNC wäre eine separierte Ausbelichtung unrealistisch: "Il reste que, rapporté à la situation française, un investissement de l’ordre de 80 000 $ dans les 3 éléments (négatif, séparation trichrome, interpositif) de conservation d’un film pourra être jugé absolument irréaliste. Une solution alternative, évidemment moins onéreuse, mais moins sûre et de qualité moindre, consiste à se contenter d’un shoot couleurs. Des chiffres couramment avancés par des professionnels français sont de l’ordre de 20 000 à 30 000 €. Et s’il faut considérer de potentiels coûts d’accès, ils s’établiraient alors à 12 000 à 15 000 €, coût avancé pour un scan 2K des éléments sources, hors tout travail de restauration."
Nach den geschätzten Kosten geht die Schweizer Lösung geht von einem Farbnegativ aus.
Es bestehen keine langfristigen Erfahrungen zur Erhaltung der Farbnegative. Wir kennen aber alle den schlechten Zustand der Farbnegative der 70er und 80er Jahre.
Sind wir so sicher, dass die heutigen Farbnegative langfristig haltbar sind?
Ist vorgesehen, auch Fernseh- und Kurzfilme auszubelichten, und wer trägt hier die Kosten?
Langfristig steigen auch die Kosten für den Unterhalt von Ausbelichtern und Scannern, die immer seltener benutzt werden. Die Erfahrungen aus der Filmherstellung zeigen, wie schnell handwerkliches Wissen zum Medium Film verschwindet.
Wird die Cinémathèque die Herstellung eines Vorführ-DCP aus der Archivkopie anbieten und wie teuer ist dessen Herstellung?
Ich bin der Meinung, dass es zumindest für 15-20 Jahre günstiger sein wird, auch das DCP zu archivieren, da dieses einfach kopiert werden kann. Wenn man dies aber macht, muss man sowieso eine digitale Archivierung aufbauen sowie noch eine Politik, was man nach 20 Jahren löscht (bzw. nicht mehr aktiv konserviert).
Die EU-Studie stellt fest, dass die analoge Archivierung das Problem des Zugriffs nicht löst: "Back to Film does not aid access (either citizen or professional). A separate online archive must be held (if online access is provided) which is an operating cost multiplier."
Die Cinémathèque ist sich der Problematik bewusst und beabsichtigt, mittelfristig die digitalen Daten (DCDM, DCP, aber auch andere Auswertungsformate wie Internet) der Filme auf Servern und DLT verfügbar zu halten, solange für diese Filme ein Auswertungspotential besteht. Damit stellt sich aber nicht die Frage "entweder-oder", sondern ob die zusätzlichen Kosten für die analoge Archivierung gerechtfertigt sind.
Die Bandformate (Digibeta, HDCAM SR) haben eine kurze Lebensdauer, sind von Lesegeräten abhängig, die mittelfristig nicht mehr verfügbar sein werden, und benötigen deutlichen manuellen Aufwand zur Überprüfung: Man muss sie ganz ansehen, um ihren Zustand zu evaluieren.
Die proprietären Dateiformate (ProRes sehr beliebt als Masterformat) sind abhängig von proprietären Programmen, die sie lesen können. Es ist zwar bis jetzt noch nicht passiert, dass populäre Bildformate ausgestorben sind, weil die neuen Programme sie nicht mehr lesen können, aber nur schon früher beliebtes ein Format wie TGA wird heute wenig verwendet. Zudem bieten sie oft keine einfachen Möglichkeiten an, ihren Zustand automatisch zu prüfen.
Das (unverschlüsselte) DCP hat ihnen gegenüber viele Vorteile
- Das Format ist öffentlich dokumentiert und mit freier Software lesbar
- Es ist weltweiter Standard und auch so gestaltet, dass es weiterentwickelt werden kann, ohne inkompatibel zu werden (höhere Auflösungen und Bildfrequenzen)22.
- Das DCP ist vom Produzenten als Vorführformat geprüft und entspricht den Intentionen des Regisseurs.
- Jedes Bild ist einzel komprimiert. Kopierfehler würden nur ein einzelnes Bild betreffen.
- Es hat Prüfsummen, d.h. der Computer kann automatisch die Integrität der Dateien verifizieren.
- Das DCP kann relativ einfach verschiedene Sprachversionen sowohl beim Ton wie bei den Untertitel integrieren. Sogar sprachbezogene Bildsequenzen sind möglich.
- Die XML-Dateien dokumentieren das DCP mit Metadaten. Insbesondere die Untertiel der Filme erlauben eine günstige automatische Indexierung des ganzen Archivs mit Volltextsuche.
Bei gewissen Filmen gibt es als Zwischenprodukt ein Digital Cinema Distribution Master (DCDM), das im Gegensatz zum DCP unkomprimiert ist, aber auch entsprechend gross und nicht direkt vorführbar. Es ist nicht immer vollständig, und die Bestandteile (Bild, Ton, Untertitel) sind nicht zwingend synchronisiert. Obwohl das DCP komprimiert ist, ist die Kompression qualitativ hochstehend und visuell praktisch transparent. Es gibt keine publizierten Qualitätsvergleiche, aber vermutlich ist das DCP mindestens so gut wie die Redigitalisierung einer ausbelichteten Farbseparation auf Film. Denn obwohl diese optimal mit möglichst wenig Korn erfolgt, gibt es einen Generationenverlust. Dazu kommt, dass das Zusammenführung der Farbseparationen auch aufwendig sein kann, wenn die drei Negative durch Alterung nicht mehr passgenau sind. Hier ist mit einer Ungenauigkeit von +-0.5 Pixelbreite zu rechnen. Ein 2K-Scan hin und zurück kann zu einer Auflösung vom 1.5K führen. Beim DCP gibt es jedoch nur eine erste Kompressionsgeneration, die auch kontrolliert abläuft (sie ist verifiziert und sie kann u.U. in der Postproduktion optimiert werden), und weitere Kopien führen nicht zu Qualitätsverlusten.
Die EU-Studie und FIAF bezeichnen deshalb auch das DCP als akzeptables Langzeitarchivformat und die Filmkopie als nicht sicherer: "Going forward, the photochemical approach to multi-generation preservation is as unproven as the digital one, only the timescales are longer. The survivability of the film stock industry may be directly questioned in all fields over the next 10 to 15 years. Continued availability of preservation grade film stock, chemical processes and equipment is to be questioned if film disappears from all but the archival market and the value chain collapses. Return to film also requires that analogue film laboratories continue to operate at a sustained high quality, which, as we discussed earlier, is extremely unlikely perspective. At the very best, this approach can be considered as a parallel strategy for the short term – possibly for the next 3-5 years."
Mit einer Fixierung auf die analoge Konservierung verliert die Cinémathèque auch Zeit und Ressourcen, die Kompetenzen für die digitale Konservierung zu entwickeln: "There is also a serious concern that such a strategy would only postpone the research, changes and investments that are needed to face the switch to Digital Research".
Als Speichermedium sind zur Zeit LTO-Bänder sehr beliebt, weil man die Speicherung als sicher betrachtet mit einer Haltbarkeit von 15-30 Jahren. Die Bänder haben jedoch die gleichen Nachteile wie Videokassetten: Sie sind nur linear lesbar und es braucht Personal für den Zugriff. Der ständige Generationenwechsel der LTO-Lesegeräte und die beschränkte Rückwärtskompatibilität führt dazu, dass die LTO-Bänder alle 5-10 Jahre wieder auf ein neueres Format kopiert werden müssen.
Dazu kommt, dass das Verschwinden von Kassettenformaten im Video- und Audiobereich die Forschungsressourcen für Bandwerke verringert hat, womit dieses Format langfristig teurer wird
Ein Serversystem mit Festplatten ist deshalb der vielversprechendere Ansatz. Dies muss nicht nur ein Server- und ein Backupserver sein. Es kann ein dezentrales System mit mehreren Servern sein, die im Netzwerk verbunden sind, damit Redundanz gewährleisten und auch die nötige Rechenleistung verteilen können.
Festplatten halten nicht ewig, und bei einer digitalen Kopie kann ganz selten mal ein Bit daneben liegen. Aber der Computer kann dies selbständig nachprüfen und die Kopie wiederholen.
Der Paradigmenwechsel ist: Konserviert wird nicht mehr der Träger, sondern die Information: "Successful preservation requires a systematic approach to be adopted, regardless of the physical form of the archive to be managed. Policies and systems for the management and preservation of physical collections are well established."
Man kann davon ausgehen, dass Massenspeicherung von Daten in den nächsten Jahrzehnten weiterhin verfügbar sein wird, weil die ganze Informationsgesellschaft auf diese angewiesen ist. Im Gegensatz zum Film, wo wir auf spezifische Materialien und Maschinen angewiesen sind, können wir bei Massenspeicherung auf Industriestandards zugreifen. Das DCP ist eigentlich nur ein Ordner mit Dateien, der redundant gespeichert werden muss. Die Schlüsseltechnologien dazu (Dateisystem und Netzwerktechnologie) ändern sich dazu schnell in der Leistung, aber langsam in der Spezifikation. Sollten sich neue Technologien durchsetzen, die Standardänderungen mit sich bringen (wie RJ45-Stecker statt BNC-Stecker bei Ethernet), sind sie meistens so viel leistungsfähiger (Mooresches Gesetz), dass die Migrationskosten vernachlässigbar sind.
Dazu braucht es die rechtlichen Voraussetzungen:
- Das deponierte DCP muss unverschlüsselt sein.
- Die Cinémathèque muss das Recht haben, das DCP auf seinen Servern zu kopieren.
Diese Rechnung kann so nicht stimmen. Es besteht ein Missverständnis von dem, was gelagert wird.
Wenn die Academy von 12'514 $ Kosten pro Jahr für die digitale Archivierung spricht, meint sie damit nicht das DCP, sondern das viel grössere unkomprimierte DCDM in 16bit30, das wären für 90 Minuten etwa 90*60*24*3840*2160*6 Bytes = 5.8 TB. Das ist 20-25 mal grösser als das DCP. Wenn man von den Datenmengen des DCP ausgeht, sinken die Kosten um denselben Faktor.
Ich versuche im Folgenden, die Kosten abzuschätzen, wenn ich ein System für DCP-Archivierung konfigurieren müsste. Es wird ein System gebaut, dass die Daten regelmässig kontrolliert und kopiert und bei dem der regelmässige Ersatz durch neue Harddisks schon eingeplant ist.
Annahmen: Mittlere Grösse eines DCP 200 GB (z.B. Hiver Nomade 2K ist 80 GB).
Das DCP wird auf Netzwerk-Disks mit RAID-Level 5 gespeichert. Die Speicherung erfolgt auf zwei Netzwerken an zwei Standorten, die über Internet verschlüsselt verbunden sind.
Je zwei Kontrollrechner an beiden Standorten überwachen die Netzwerkdisks automatisch. Es gibt mehrere Rechner zum Einspeisen von neuem Material. Es gibt auch Stationen zur Visionnierung.
Der Speicherbedarf ist für 2 Kopien 400 GB, bei RAID 5 noch 25% mehr, d.h. 500 GB.
Die Kontrollrechner prüfen einmal monatlich selbständig mit einem Cronjob jede Datei auf ihre Integrität. Sie wecken die Festplatte auf, checken die Prüfsumme und lassen die Festplatte wieder einschlafen. Stimmt die Prüfsumme nicht, prüfen sie die ganze Festplatte. RAID 5 erlaubt eine Redundanz. Ist nur eine Festplatte am RAID defekt, können die Daten von den anderen 4 wieder hergestellt werden. In diesem Fall muss man nur eine neue Festplatte einsetzen. Erst hier ist ein Eingriff durch das Personal erforderlich.
Das DCP steht immer unmittelbar zur Verfügung. Der Kontrollrechner kann das ganze Material aufgrund der XML-Informationen indexieren. Eine Vorführkopie kann mit 15' Arbeit vom Server auf eine externe Festplatte kopiert werden (Zeit der Manipulation, die Kopie selber dauert 2-3 Stunden).
Es kann vorkommen, dass für eine RAID keine Ersatzplatten mehr vorhanden sind. In diesem Fall müssen die Daten auf ein neues RAID überschrieben werden. Dies kann auch automatisiert werden. Die nicht mehr benutzten Festplatten können als Ersatzteile für die RAID der alten Generation weiterverwendet werden. Dieser Fall ist deshalb nicht in die Kalkulation einbezogen.
Nach Wikipedia ist die Lebensdauer der Festplatte 6 Jahre. Die Hälfte der Festplattenfehler kommen vom Interface und nicht von der Festplatte selber, d.h. die durchschnittliche Lebensdauer wird nie höher sein als 10 Jahre.
Wir gehen von Wahrscheinlichkeit für einen Defekt etwa 10% pro Jahr und pro Festplatte aus. Da es 5 Festplatten sind, die Wahrscheinlichkeit für mindestens eine defekte Disk von 5 ist 1-0.9^5 = 40% pro Jahr.
Wenn zwei Festplatten defekt sind, dann müssen die Dateien von den Daten aus dem anderen Server wieder hergestellt werden. Die Wahrscheinlichkeit dafür ist nur noch 0.7%, d.h. durchschnittlich alle 130 Jahre. Die benötigte Netzkapazität zur Restaurierung über Internet beträgt in diesem Fall pro Film 14 GB pro Jahr oder 3.5 kbit/s (oder 25 Mbit/s für den ganzen Katalog der Cinémathèque - 70'000 Filme).
Als Kosten gehen wir von 0.10 Franken pro GB aus. Der Preis für aktuelle Festplatten ist 0.05-0.10. Für Festplatten der neueren Generation ohne mechanische Teile (SSD) wäre der Preis 0.75/GB. Man weiss jedoch noch nicht, ob SSD länger halten als traditionelle Festplatten.
Aufwand zum Einspeisen:
- Visionierungskontrolle (2h)
- Kopieren und Datenbankerfassung (15' Arbeitszeit)
- 500 GB Festplattenspeicherplatz : 50.-
- 200 GB Datentransfer über Internet: 100.-
- Hardware Rechner, Netzwerk, Switch, Kabel: 150.-
- Infrastruktur, Miete, Löhne : 800.- (4x Hardwarekosten wie bei Digital Dilemma)
Insgesamt: 1550 Franken
Aufwand Lagerung Jahr
- 40 GB Festplattenspeicherplatz ersetzen : 4.-
- 14 GB Datentransfer über Internet: 7.-
- Manueller Aufwand zum Auswechseln der Hardisk: (15' Arbeitzeit)
- Restliche Hardware: 21.-
- Anteil Kosten an Infrastruktur pro Film: 128.- (4 x Hardwarekosten)
Pro Jahr: 210 Franken
Kosten 30 Jahre: 7’850 Franken (Hier fehlt kein Null). Die Kosten basieren auf heutigen Hardwarekosten. Diese werden sich aber weiterhin nach unten bewegen.
Die Academy schätzte 2007 die Kosten für Speicherung auf Harddisk pro Terabyte und Jahr auf 1500 $ (bei einer Kapazität von einem Petabyte). Davon sind 30% Festplatte, 23% Personalkosten, 10% Raumkosten und 15% Softwarelizenzen. Nicht inbegriffen sind sie Datentransferkosten. Die Kosten für 30 Jahre wären 20'250 Franken.
2012, fünf Jahre später, geht die Studie der EU von 250 Euro pro Jahr und Terabyte aus. Damit liegen die Kosten noch bei 9'000 Franken.
Kommerzielle Anbieter in den USA bieten Server mit 21 Terabyte und 5 Terabyte Traffic im Monat für 686 $ im Monat an. Dies kostet pro 400 GB, also redundant 144 Franken im Jahr. Das wären auf 30 Jahre weniger als 4320 Franken. Amazon bietet redundanten Speicherplatz in der Cloud für 5 Rappen pro GB und Monat an, bei verzögertem Zugriff (Glacier Storage, wohl offline) für 1 Rappen pro GB und Monat. Wenn eine Kopie zu 5 Rappen und die andere zu 1 Rappen gelagert wird, wären dies auch 4'320 Franken für 30 Jahre.
Ich vertrete hier nicht die Meinung, dass die Daten auswärts gegeben werden sollen. Aber wenn Amazon es schafft, zu diesem Preis kommerziell Datenspeicher anzubieten, so sollte es möglich sein, mit dem Volumen, dass die Cinémathèque haben wird, diese Server zum selben Preis selber zu betreiben.
Die Kostenschätzungen unterscheiden sich stark, sie liegen aber alle wesentlich unter den Kostenschätzungen für die analoge Archivierung.
Gleichzeitig sind die Kosten für die analoge Archivierung des DCP von 20'250 Franken auf 9'000 Franken gesunken - 56%.
Dieser Trend wird sich mittelfristig und vermutlich auch langfristig nicht ändern: Je weniger Film verarbeitet wird, desto teurer wird die Stückzahl sein. Es handelt sich auch um isolierte mechanische und chemische Technologien, für die niemand anders mehr forschen wird.
Die digitale Archivierung profitiert jedoch von einer hohen Nachfrage nach Datenträger in allen wirtschaftlichen Branchen und deshalb von einer industriellen Massenproduktion und der Forschung, leistungsfähigere, zuverlässigere und günstigere Datenträger zu bauen.
Die gleiche Mengenproblematik stellt sich für die Labors, aber nicht nur ökonomisch, sondern auch chemisch. Die Chemie der Bäder hängt von einem regelmässigen Entwicklungsvolumen ab. Ist dieses nicht mehr vorhanden, kann die Qualität nicht mehr gewährleistet werden, abgesehen vom Verlust an handwerklichem Wissen seitens des Personals.
"Is it prudent to build long-term preservation infrastructure based on a medium that, if not
totally obsolete, may only survive in niche markets – like motion picture archiving? When YCM separations reach the end of their archival life, archivists entrusted with these valuable corporate assets must consider whether it will be better to migrate them to another generation of film stock, or to migrate them to a future digital format with its to-be-determined preservation methodology."
Es wird eine Depotpflicht eingeführt für Filme, die in der Schweiz vorgeführt werden. Das deponierte DCP darf nicht verschlüsselt sein, weil die Langzeitarchivierung nicht gewährleistet werden kann, wenn die Verschlüsselung von einem externen Server abhängig ist, der keine langfristige Tätigkeit garantieren kann.
Die Cinémathèque muss ihrerseits bei der Konservierung eine Insellösung anbieten, die den Verleihern garantiert, dass die deponierten Kopien nicht missbräuchlich verwendet werden und nur treuhändisch verwaltet werden. Dabei wäre zum Beispiel eine Verschlüsselung möglich, die von der Cinémathèque selber kontrolliert wird, indem die Delivery KDM mitgeliefert wird, mit dem sie das DCP auch wieder entschlüsseln kann.
Umberto Eco
Bei der Filmarchiven gab es wie bei den Bibliotheken immer zwei Linien: Die eine setzt die Konservierung des Trägers in den Vordergrund, die andere die Verbreitung der kulturellen Erbschaft. Die beiden Ziele waren beim Träger Film unvereinbar, da jede Projektion den Film auch der Abnützung aussetzt.
Die Langzeitarchivierung nützt nichts, wenn das filmische Erbe nicht auch im Bewusstsein der Gesellschaft gepflegt wird. Dies ist nur möglich, wenn die Filme digital verfügbar sind. Frankreich hat dies erkannt. 10'000 Filme werden mit einem speziellen Kredit, wofür pikanterweise die EU-Kommission das Einverständnis geben musste. Aber nicht nur das Kino wird digitalisiert. INA digitalisierte alle ausgestrahlten Radio- und Fernsehsendungen und die Nationalbibliothek die Bücher.
Wenn man sowieso beides braucht, stellt sich die Frage, welche Prioritäten man stellt. Für die 2.5 Millionen Franken jährlich zum Ausbelichten könnte man auch ältere Filme digitalisieren und als DCP aufbereiten, um die analogen Filme dem Publikum zugänglich zu machen, wenn es keine analogen Projektoren mehr gibt. Die EU-Studie geht von sehr unterschiedlichen Kostenmodelle bei der Digitalisierung aus, spricht aber von bis 2000 € pro Programmstunde für einfache Projekte, bis 40'000 € für sehr komplizierte Projekte, dies würde im Jahr für 300 einfache lange Filme und 15 sehr komplizierte lange Filme reichen.
Version 1.1 18.7.2013
Version 1.0 25.4.2013
Matthias Bürcher
<ip-pii>