27.5.2015 - Přednáška Jan Hutaře - slidy z prezentace online

OAIS systems AIP modeling – do we need Common AIP exchange format?

In my career in long-term preservation I had the chance to look under the skin of several systems developed with the aim to fulfill the OAIS reference model. During couple of years, I became familiar with Rosetta, SDB, RODA, one home grown system in Slovakia, more briefly with some other one customer or home tailored solutions. Joining the LTP-Pilot project at Masaryk University in Brno I started to look more closely at Archivematica as this is the focus of the project (and of other projects in Czech Republic as well – Archivematica is supposedly used in the National Archives of the Czech Republic; National Film Archives and Library of the Academy of Sciences are looking at this system too).

The OAIS - ISO 14721 - describes functional entities and information model. For some reason I tend to feel that to understand an OAIS system is always very useful to start with the information model.  I.e. to understand how are the information types described in OAIS mapped to AIP, how can the SIP be structured and how is it converted to AIP, what is possible to do with the AIP later on inside the repository. The AIP modeling expresses the long-term preservation philosophy of the OAIS system creator, and constraints also possible functionality of the system.

Seeing x-th system with the same ambitions (be the “OAIS system”) I realized that there are quite some differences between them on the level of AIP data model. If we see during 10 years of existence of the OAIS such different approaches as RODA FOXML based model,  Archivematica Bagit based model, or systems using METS or non-METS simple and single metadata containers like Rosetta or SDB and other, not mentioning other appraoches like SPAR in BNF, how can we expect some level of interoperability in 50 years time? How do we expect to migrate the AIPs from system to system? Does that mean that we will throw the old repository metadata in a provenance bag, and take only some information to build new AIPs? Or should we have bigger ambitions and want to map maximum of the audit and provenance information into the new systems?

I was always rather skeptical to practical usability of the abstract models like the Trustworthy digital object. But should we not really strive to model some “Common AIP Exchange Format” or have and AIP exchange method standard that would enable fast system to system exchange of the AIPs preserving maximum of the information? I don’t know if the TIPR (http://wiki.fcla.edu/TIPR/1) project resulted in practical implementations, but Repository Exchange Package could be a way to look at the problem. But this project seems to be territorially focused and ended by 2011 without any further steps to enlarging the user community.

If we look at the LTP repositories environment in 50 years time, we can expect each AIP being migrated twice between different systems. Shouldn’t we have clear and common idea about what is to be preserved in these migrations? Shouldn’t this be also explicitly described in widely accepted standard?

ToMaR - využití Hadoop clusteru pro migraci velkého množství souborů

http://www.openplanetsfoundation.org/blogs/2014-03-14-tomar-how-let-your-preservation-tools-scale

Příspěvek na blogu Open Planets Foundation prakticky ukazuje jak se dají využít nástroje vznikající v projektu SCAPE. Na příkladu formátové migrace ukazuje možnosti využití Hadoop a ToMaR pro hromadné migraci velkého množství souborů. Příspěvek popisuje příklad (asi) fiktivní knihovnice, která potřebuje migrovat několik set tisíc TIFF souborů do formátu JPEG 2000. Tento příklad není zcela teoretický, podobným "cvičením" prošly už naostro např. v Britské knihovně a v mnoha dalších. 

Co vlastně je digital preservation neboli dlouhodobá ochrana digitálních dat? Informační video a Prezi prezentace.

V uplynulých dnes se objevily dva zdroje, které zjednodušenou formou vysvětlují problémy digital preservation a jejich možná řešení. Prvním je krátké video společnosti Tessella o jejich produktu Preservica. Preservica je vlastně long-term preservation systém umístěný v cloudu, který může zákazník využívat formou předplatného, nepotřebuje ani HW infrastrukturu (IaaS), digital preservation je poskytována jako služba (DPaaS). Tento přístup by mohl být řešením i pro mnoho českých (nejen paměťových) institucí. Video je dostupné tady - https://www.youtube.com/watch?v=GH19MwjYLwI.
Druhým zdrojem je Prezi prezentace "Digital Preservation - Why, What and How" Nira Sherwintera z firmy Ex Libris. Prezentace je pěkně srozumitelným úvodem do problematiky digital preservation. Ke shlédnutí, sdílení atd. je tady http://prezi.com/fcgsodjqhbry/digital-preservation-why-what-and-how/#%21.
Z obou uvedených zdrojů je jasné, že pouhé uložení a správa původních (originálních) souborů není dlouhodobá ochrana digitálních dat, je to jen její předpoklad. Uchování bit streamu nezajistí použitelnost, vyhledatelnost, srozumitelnost souborů a jejich obsahu v budoucnu.

FileFormat.Info přidán do sekce Tools/Nástroje

Web FileFormat.Info (http://www.fileformat.info/index.htm) je vynikajícím zdrojem informací o formátech, nástrojích na migraci, extrakci metadat, validaci, identifikaci apod. Web mj. obsahuje databázi fyzických nosičů, formátů, přípon formátů, MIME types, linky na relevantní zdroje atd atd. U formátů jsou někde i ukázkové soubory.
Užitečné mohou být také online nástroje, které web poskytuje (http://www.fileformat.info/tool/index.dir) - je mezi nimi mj. UNIX FILE, nástroje na hashování, UUID generátor aj.
V sekci Convert (http://www.fileformat.info/convert/image/) najdete mj. i online ImageMagick metadata extractor/viewer a jiné online konverzní nástroje.
Celý web FileFormat.Info stojí za podrobné prozkoumání.

Rýsuje se zapojení Microsoftu do řešení problémů dlouhodobého uchování?

Chris Rusbridge publikoval koncem října na svém blogu Unsustainable Ideas otevřený dopis Tonymu Heyovi, viceprezidentovi Microsoft Research Connections, s výzvou, aby Microsoft zveřejnil specifikace svých starších digitálních formátů. Výzva vyvolala zajímavou diskuzi v komentářích na blogu, včetně podpory ze strany mnoha paměťových institucí i jednotlivců anagažujících se v oblasti digitálního uchování. Některé body z této diskuze Chris shrnul v dalším samostatném příspěvku.

Z Microsoftu nedlouho poté přišly dvě poměrně pozitivní reakce. Podle Tonyho Heye Microsoft sice nemá požadované specifikace k dispozici a většina zaměstnanců, kteří se podíleli na vývoji původních formátů, už v Microsoftu nepracuje, ale Microsoft je ochotný spolupracovat na dodatečném zpětném vytvoření těchto specifikací, např. formou crowdsourcingu. Navíc by mohl zvážit vytvoření speciálních licencí, které by umožnily využít starší verze operačních systémů a MS Office pro zpřístupnění a konverzi starých digitálních formátů. Přišla také reakce Jima Thatchera z týmu Office and standards interoperability, podle kterého se Microsoft bude snažít přijít s kontrétními návrhy, jak se posunout v řešení těchto problémů dále.

Vstup tak významného hráče, jakým je Microsoft, by mohl představovat zásadní průlom v řešení některých problémů v oblasti digitálního uchování, za něž je Microsoft bezesporu sám spoluodpovědný. Z reakcí není jasné, nakolik jde o závazné stanovisko Microsoftu, ale vypadá to, že snaha by tady mohla být. Že by se blýskalo na lepší časy?

Jak na migraci digitálních dat? Jak na metadata podporující autenticitu dokumentů?

Archiv australského státu Queensland zveřejnil sadu dokumentů, které jsou míněny jako pomoc institucím, které do tohoto archivu posílají své digitální dokumenty vzniklé (nejčastěji) činností státní správy. Mezi 4 dokumenty jsou tři, které mohou pomoci i českým institucím různého druhu (nejen archivům). První popisuje roli metadat pro dlouhodobou ochranu (zachování integrity, autenticity, údajů o událostech apod.). Druhý dokument přibližuje jak postupovat a co vše vzít do úvahy při migraci dat ze starého systému do nového, nebo případně při zastarání formátů souborů. Poslední dokument se věnuje vhodným formátům souborů pro vytváření digitálních záznamů (ve smyslu archivního záznamu), je ovšem použitelný na jakoukoliv sbírku digitálních dokumentů.

Migrating Digital Records (PDF, 535KB)
Metadata for Digital Continuity (PDF, 244KB)
Advice on choosing file formats for digital records (PDF, 84KB)