Digital Preservation Sound and Vision: Policy, Standards and Procedures

Nizozemský Institut pro zvukové a obrazové dokumenty (Netherlands Institute for Sound and Vision) publikoval v lednu zajímavý dokument, který shrnuje přístup, procesy a chápání dlouhodobé ochrany tohoto typu dat v dané instituci.
Dokument je pěkným dokladem transparentnosti konkrétní instituce, který tímto zcela jasně dává najevo o co jí jde, jaké procesy a přístupy jsou preferovány a kam vlastně směřuje. V textu naleznete informace o formátech, které jsou používány (DPX, MXF, BWF aj.), o plánování ochrany, o sledování technologií, o tom co rozumí pod pojmy autenticita a integrita, o řešení HW uložení, kontrolách fixity, preferovaných aktivitách ochrany, používaných metadatech, storage policy, rozlišování stupňů ochrany apod.
V úvodu dokumentu je uvedeno, že se institut bude snažit o stupňovitou certifikaci jako důvěryhodné úložiště (TDR) a to pomocí Digital Seal of Approval, DIN 31664 a DSA-WDS metodik. To vše v letech 2016-2020.

Zpráva je přístupná ke stažení jako PDF zde http://publications.beeldengeluid.nl/pub/388/

Proč je validace PDF/A důležitá i pokud žádná PDF/A nemáte

Johan van der Knijff z Královské knihovny Nizozemí publikoval další ze svých blogů. Johan se dlouhodobě zabývá obrazovými formáty JPEG 2000 a PDF. Je to zajímavé čtení, přibližující problémy, které se mohou skrývat (a často skrývají) v PDF souborech. Tyto problémy (encryption, hesla, externí odkazy, externí fonty) velmi ztěžují dlouhodobou ochranu obsahu těchto souborů.
Blog zároveň obsahuje linky na relevantní nástroje na validaci PDF/A.
http://blog.kbresearch.nl/2015/07/07/why-pdfa-validation-matters-even-if-you-dont-have-pdfa/

Portál s výstupy projektu TIMBUS - brána k TIMBUS nástrojům a aplikacím

Evropský projekt TIMBUS skončil na konci roku 2014 (http://cordis.europa.eu/project/rcn/99180_en.html).
Za 4 roky trvání bylo v rámci projektu vyvinuto relativně dost zajímavých nástrojů na digital preservation planning, risk assessment, vytváření technických kontextů apod. Tyto nástroje jsou nyní k dispozici přehledně na portálu TIMBUS (http://timbusproject.net/portal), který bude fungovat i po ukončení vlastního projektu.
Jde vlastně o ucelenou sadu nástrojů, které fungují jako celek, ale lze je používat i jednotlivě. Za zkoušku stojí určitě např.

• Context Population Framework (http://timbusproject.net/portal/context-population-framework/) - nástroje, které jsou schopné z konkrétního systému (a konkrétního OS) extrahovat závislosti na něm instalovaného SW a použitého HW
• HoliRisk (http://timbusproject.net/portal/risk-tools/73-portal/risk-tools/335-holirisk-tool-page) - nástroj na risk management vycházející z ISO31000
• DPES - Digital Preservation Expert Suite (http://timbusproject.net/portal/digital-preservation-expert-suite/) - komplexní nástroj na virtualizaci, uložení dat a migraci prostředí. Používá výstupy ostatních TIMBUS nástrojů, např. risk assessment report v xml a kontextový model v xml jako vstupní informaci, vytváří odhady nákladů ochrany apod. Vytváří také metadata, balíky dat k uložení v cloudu. Pro opětovné využití dat importuje všechny kontextové informace z balíku a na virtuálním serveru vytvoří původní prostředí.

Guideline for Preservation Planning: Procedural Model and Implementation authored and edited by the nestor working group Preservation Planning

Německý NESTOR publikoval moc pěkný materiál, ze kterého je  vidět, o co v oblasti dlouhodobé ochrany informačního obsahu v digitální podobě jde.

Zvlášť zajímavá je část přílohy, kde autoři z NESTORu ukazují, jak definovat significant properities pro různé typy digitálního materiálu. (Appendix A: Possible properties, designated communities and designated uses of information types).

Bohužel podobný přístup řadě správců digitálních dat u nás chybí, a představu o tom, jaké technické nebo vizuální vlastnosti jsou předmětem dlouhodobé ochrany, mnoho kurátorů digitálních dat nemá. To souvisí  s obecným nezájmem o plánování dlouhodobé ochrany.

Který univerzitní repozitář má takto pěkně popsáno, co je předmětem dlouhodobé ochrany a pro koho data ochraňuje? Tj. ví, co chce uchovat a jak to chce uchovat? Je cílem ochrany vysokoškolských kvalifikačních prací nebo šedé literatury uchování textové podoby děl, nebo jsou důležité i další vlastnosti digitálních objektů, které intelektuální obsah nesou - fonty, odstavce, řazení textu, obrázky, metadata, vizuální podoba layoutu atd.?

http://files.d-nb.de/nestor/materialien/nestor_mat_15-eng.pdf

SCOUT - preservation watch tool - nástroj na sledování rizik - finální report projektu a popis funkcionality

O nástroji SCOUT jsme již psali několikrát, poprvé v roce 2012 a také letos (viz http://digital-preservation-cz.blogspot.co.nz/2014/02/scape-scout-preservation-watch-system.html).

Tentokrát chceme upozornit na finální verzi reportu projektu SCAPE, v jehož rámci nástroj vznikl. Report popisuje funkcionalitu SCOUTu, možnosti jeho připojení a také testování na reálných příkladech (a datech) - jako např. dánský webový archiv apod.
Zpráva je dostupná zde http://www.scape-project.eu/wp-content/uploads/2014/05/SCAPE_D12.2_KEEPS_V1.0.pdf

SCOUT dokáže pracovat s různými zdroji informací, které poté používá k vyhodnocení rizik. Tyto zdroje jsou ke SCOUTu připojeny pomocí adaptérů. Několik základních adaptérů je dostupných, např. na PRONOM, C3PO nástroj. Ostatní je potřeba si dodělat. SCOUT je schopen tedy pracovat s profily repozitáře, tedy údaji o jeho obsahu - jaké formáty jsou uloženy (to zajišťuje nástroj C3PO), s registry formátů (PRONOM), se strategiemi a plány pokud jsou ve strojem čitelné podobě a s dalšími zdroji.

Nás v tomto kontextu mohou zajímat již hotové adaptéry na PRONOM a C3PO. C3PO je tedy teoreticky možné přes API připojit na jakýkoliv repozitář, tedy např. Fedora, DSpace nebo na LTP Archivematica nebo RODA (testováno). Vytvořit profil obsahu a ten pak použít jako input pro SCOUT, který tak vlastně nabízí těmto systémům další rozměr a přidává funkcionalitu dlouhodobé ochrany, kterou např. DSpace nebo Fedora nemají, Archivematicka a RODA pouze do jisté míry.

Co se stane, pokud SCOUT pošle varování, že konkrétní objekt nebo objekty v repozitáři jsou problematické? Je to vlastně první krok v procesu plánování ochranných akcí (preservation planning), který je možno provést dalším nástrojem - PLATO.
Všechny nástroje jsou v reportu linkované, takže je jednoduché je vyzkoušet.
SCOUT, C3PO byly testovány ve spojení s LTP systémem RODA, který je také volně dostupný.

Pokud se rozhodnete SCOUT nebo C3PO vyzkoušet, podělte se s námi o zkušenosti.

DMPonline - nástroj na vytváření Data management plánů - DPC a JISC

Již v loňském roce vytvořily britské organizace DPC a JISC jednoduchý online nástroj na tvorbu a správu tzv. Data management plánů. Je to výborný nástroj použitelný v jakékoliv instituci, která vytváří a/nebo spravuje digitální data. Je potřeba se pouze zaregistrovat, nástroj si poté pamatuje plány, které jste vytvořili atd.
Co je to Data management plán? Jde o dokument, který si organizace vytváří pro svá digitální data. Může to být pro sbírku, pro data z konkrétního projektu, data od konkrétního původce. Plán pak obsahuje veškeré údaje, které o datech máme - jak vznikají, jak jsou přebírána, jak a kde jsou ukládána, stupeň ochrany atd atd. Dokument tohoto typu zabrání nejasnostem, poskytne přehled i pro nově příchozí kolegy, může pomoci v plánování a to velmi podstatně - kolik bude potřeba místa na úložišti? Kolik to bude stát? Budeme sbírku X a data od organizace Y ukládat na discích nebo na páskách? Právě z tohoto důvodu musí Data management plán vzniknout již na začátku, tedy před vznikem projektu, před vytvářením nebo přebráním dat. Dokument by to měl být závazný a tedy podepsaný manažerem organizace.
https://dmponline.dcc.ac.uk/ 

Jak jsou vaše data a instituce připraveny na dlouhodobou ochranu?

Americký Educopia Institute (http://www.educopia.org/) publikoval dokument, který se zabývá připraveností digitalizovaných novin na dlouhodobou ochranu - Guidelines for Digital Newspaper Preservation Readiness. Z názvu je jasné, že je dokument zaměřen na digitalizované noviny, ovšem zásady, které popisuje, jsou aplikovatelné na jakákoliv data v knihovnách nebo archivech.
Dokument je koncipován tak, že jde vlastně o návod jak postupovat, co zařídit, co kontrolovat v institucích, a to s minimálními náklady. Cílem je, aby data byla dobře spravována a tak "připravena" na dlouhodobou ochranu.
Pokryta jsou následující témata: inventarizace (co, kolik, a kde vlastně máme), organizace dat (názvy souborů, uložení apod.), správa formátů, správa metadat, správa kontrolních součtů, ochranné balíčky a další. Ke každé kapitole náleží seznam nástrojů, které jsou volně dostupné.
Dokument také přináší "kontrolní seznam", který je možné použít na rychlou nebo opakovanou kontrolu připravenosti vaší organizace na dlouhodobou ochranu dat (strana xi).
Autoři rozlišují mezi základní a optimální připraveností. Celý koncept připravenosti je navázán na v roce 2013 představené NDSA Stupně dlouhodobé ochrany - http://www.digitalpreservation.gov/ndsa/activities/levels.html.
Publikace se zdá velmi použitelno pro české knihovny, které spravují digitální data a nemají ustálené procesy okolo jejich správy a v dohledné době nepočítají s žádným sofistikovaným digitálním repozitářem na jejich ochranu.
Pokud máte digitální data a máte snahu je spravovat tak, aby byla použitelná v budoucnu, pak toto je dokument, který vám pomůže začít.


Ke stažení 

http://www.educopia.org/publishing/gdnpr
http://metaarchive.org/public/publishing/Guidelines_for_Digital_Newspaper_Preservation_Readiness.pdf

Co vše hraje roli v hodnocení/výběru formátů?

Komunita okolo dlouhodobé ochrany digitálních dat se často soustředí na formáty dat. Obecně se uvádí, že je vhodné vybírat pro dlouhodobé uložení open source formáty, formáty široce rozšířené, s podporou v mnoha aplikacích atd atd. Co ale doopravdy hraje roli ve výběru? Je to tak jednoduché? To se dozvíte v tomto článku (http://www.openplanetsfoundation.org/blogs/2013-09-30-assessing-file-format-risks-searching-bigfoot) Johana van der Knijffa z Královské knihovny v Haagu. Jeho post není přímo o tomto tématu, ale pěkně popisuje uvažování, které se odehrává při výběru vhodných formátů, i to jak se takový výběr může ukázat mnohem komplikovanější, než se zdálo.
Nezapomeňte si projít diskuzi pod článkem.

Dánský národní archiv zveřejnil novou verzi své strategie dlouhodobé ochrany

Dánský národní archiv zveřejnil anglickou verzi nové strategie dlouhodobé ochrany digitálních archiválií "Strategy for archiving digital records 
at the Danish National Archives". Jde o velmi zajímavé čtení. Národní archiv Dánska má velmi omezený počet formátů, které od původců akceptuje. Původci musí provést migraci dat do těchto formátů a do metadat podle standardu. Transfer digitálních dat probíhá každých 5 let a to i v případě, že se jedná o neuzavřené (tedy živé) fondy. Digitální archiválie jsou pak na obou místech, u původce i v archivu. Archiv tak vlastně dělá snapshoty - více ve vlastním dokumentu. Zároveň každý digitální archiv původce musí projít auditem, zda odpovídá standardům stanoveným národním archivem.
Situace tedy do jisté míry podobná té české, alespoň pokud se jedná o předepsanou množinu formátů, které archiv přijímá.

Zajímavý post o ISO 16363 a ISO 16919 - Audit důvěryhodných digitálních repozitářů

Na blogu texaského státního archivu a knihovny se objevil zajímavý příspěvek (https://www.tsl.state.tx.us/slrm/blog/?p=4812) o stavu norem ISO 16363 a především ISO 16919, která je normou upravující organizace, které mohou provádět audit podle ISO 16363. Norma je zdá se před dokončením.
Zajímavé jsou také informace o testovacích auditech, které proběhly v USA a v Evropě, kde ani jeden repozitář neprošel, většinou kvůli neexistenci tzv. preservation policies nebo psané kodifikaci procesů.
Vytvořit takovouto dokumentaci může trvat velmi velmi dlouho, instituce která by se ráda ucházela o ISO 16363 by proto měla být připravena daleko před auditem.
V textu se také skrývá malé varování: "ISO 16919 is getting closer and closer to finalizing. However, until this standard is completed, you cannot conduct any official ISO 16363 audits, which means that there is no such thing as ISO 16363 compliance. If a vendor tells you that they can do an ISO 16363 audit for you, they are either misinformed or outright lying, so hold on to your wallet!"

Ohlédnutí za druhým rokem projektu SCAPE na blogu Open Planets Foundation

Na blogu OPF byl před pár dny publikován souhrn nejdůležitějších aktivit a nástrojů projektu SCAPE, které  spatřily světlo světa v poslením roce. Byl vydán první Release platformy na dlouhodobou ochranu a provádění ochranných akcí na různě velkých množinách dat. Platforma obsahuje různé nástroje, které se mohou k provádění různých procesů velmi hodit. Popis Platformy SCAPE naleznete tady http://www.scape-project.eu/publication/an-architectural-overview-of-the-scape-preservation-platform.
Vznikly také další nástroje, např. PageLyzer na porovnávání webových stránek. Novou a zásadně vylepšenou verzi má také online nástroj na preservation planning PLATO, nyní ve verzi 4. Plato je vyvíjeno již několik let a směřuje k integraci a reálné spolupráci s různými systémy, jako např. EPrints, které využívá v PLATO nástroji vytvořené plány na ochranu ke spuštění procesů migrací apod. Podobně i portugalský open-source LTP systém RODA.

Jaké vlastnosti má vlastně mít otevřený datový formát, aby se hodil pro dlouhodobou ochranu?

V odborném časopise Information technology and libraries vyšla zajímavá studie Examining Attributes of Open Standard File Formats for Long-term Preservation and Open Access (autoři Eun G Park a Sam Oh).
Velmi čtivou formou zkoumá a popisuje vlastnosti tzv. open standard formátů, které jsou považovány právě pro svoji otevřenost za vhodné pro dlouhodobou ochranu. Autoři rozebírají v úvodu předchozí podobné analýzy kritérií, které různí autoři a instituce aplikovali při výběru vhodných datových formátů pro dlouhodobou ochranu svých dat. Na konci je přehledná tabulka s kompilací jednotlivých kritérií a vlastností tzv. otevřených formátů. Ukázalo se, že nejčastější kritéria mohou být rozdělena do 5 kategorií: funkcionalita, metadata, otevřenost, interoperabilita a nezávislost. Doplňková kritéria jsou zobrazení, autenticita, rozšířenost použití a další.

SPOT - nová metoda identifikace a hodnocení rizik v digitálním archivu

Sally Vermaaten, Brian Lavoie a Priscilla Caplan v novém čísle časopisu D-lib publikovali velmi zajímavý článek, který stojí za důkladné přečtení. Věnuje se metodám identifikace rizik, které hrozí nebo mohou hrozit datům v digitálním archivu. V úvodních částech podává výborný přehled literatury a publikací k tomuto tématu, včetně jejich popisu. Přílohou je tabulka taxonomií rizik (DRAMBORA, TRAC aj.) ze 4 pohledů, které autoři považují za nutné vlastnosti jakéhokoliv konceptu hodnocení rizik. Některé taxonomie jsou nevyvážené, dávají důraz na konkrétní oblasti a některé opomíjí, jsou různě granulovány, někde jsou smíchány pohledy na typy rizik apod. Z tohoto důvodu se autoři pokusili vytvořit obecný model, lehce použitelný pro různé typy digitálních archivů.
Hlavní náplní článku je tedy představení nového modelu identifikace možných rizik SPOT (Simple Property-Oriented Threat). SPOT se zaměřuje na rizika hrozící digitálním dokumentům (jejich vlastnostem), tedy obsahu archivu. Záměrně se nevěnuje rizikům spojeným např. s organizací, podpůrnými aktivitami (financování, personalistika apod.). SPOT definuje 6 základních vlastností (oblastí), které tvoří "úspěšnou digitální ochranu", jsou to:  

• availability, 
• identity, 
• persistence, 
• renderability, 
• understandability a 
• authenticity.

Tyto vlastnosti, které jsou vztahovány k digitálním objektům jako takovým, jsou v článku definovány, popsány a doplněny příklady možných rizik s nimi spojenými. 6 vlastností vychází z referenčního rámce OAIS, který některé z nich popisuje jako součást tzv. Popisné informace pro ochranu (Preservation Description Information), dále si autoři přibrali Autenticitu, která je součástí schématu pro ochranná metadata PREMIS a také Renderability (zobrazitelnost), která byla k OAIS přidána při jeho revizi v roce 2002.
Díky tomuto přístupu a obecnosti je SPOT aplikovatelný jednoduše a to na všechny typy digitálních archivů a lze jej využívat také k opakovanému monitorování stavu archivu.

Plný text k přečtení zde http://www.dlib.org/dlib/september12/vermaaten/09vermaaten.html. doi:10.1045/september2012-vermaaten

Velmi pěkné "návodné" video - Bill LeFurgy: Steps in a Digital Preservation Workflow

Video z online semináře pořádaného divizí americké asociace knihoven ALCTS. Video má podobu prezentace s výkladem v angličtině. Podává velmi pěkný (i když někdy zdlouhavý) popis procesů, které každá instituce může udělat pro ochranu svých digitálních dokumentů. Prezentace je plná diagramů, odkazů apod.
Prezentace pomůže pochopit problematiku i naprostému začátečníku a organizaci, která se chystá s ochranou digitálních dat začít.
Ke shlédnutí na YouTube - http://youtu.be/0A6MVp8GijQ
Video trvá hodinu, prezentace samotná 30 min, po 30 minutě začínají otázky, které jsou také velmi zajímavé.

Pěkné shrnutí - Návod pro strategii dlouhodobého uchovávání digitálních reprodukcí a jejich metadat

Guidelines for a Long-term Preservation Strategy for Digital Reproductions and Metadata
http://www.dca-project.eu/images/uploads/varia/DCA_D61_Guidelines_Long_Term_Preservation_Strategy_20120213_V1.pdf
V podstatě takový ideální úvod do problematiky digital preservation. Shrnuje přehledně na poměrně krátkém prostoru podstatná témata: yysvětluje základní pojmy a standardy, rozdíl mezi bit preservation a logical preservation, ukazuje význam formátů a metadat. Ukazuje základní strategie dlouhodobé ochrany (migraci, emulaci, posuzujue i cloudové alternativy a gridy atd.)

Automatizované sledování proměn prostředí archivu a úpravy plánů ochrany

První z výstupů projektu SCAPE, který se zabývá tzv. Automated Watch [link]. V rámci pracovní skupiny jsou vyvíjeny mechanismy na sledování obsahu, komunity a systémů, které vyhodnotí situaci a spustí polo-automatické aktivity (úpravy tzv. ochranných plánů apod.). Vyvinuty budou mechanismy dohledu, spouštěče aktivit a také vlastní aktivity. To vytvoří, spolu s plánováním ochrany, uzavřený koloběh ochranných procesů, ve kterém automatizované sledování sbírek, aktivit, plánů a systémů bude spouštět odpovídající reakce. Celý systém bude postavený na již osvědčeném nástroji na plánování ochranných akcí PLATO. Na něj bude navazovat další fáze "Monitorování", která může vést k revizi plánu ochrany a opětnému spuštění tvorby/úpravy plánu ochrany.

OAIS referenční rámec obsahuje koncept sledování okolí archivu, toto je první pokus jak tento proces automatizovat.