Digital Preservation Sound and Vision: Policy, Standards and Procedures

Nizozemský Institut pro zvukové a obrazové dokumenty (Netherlands Institute for Sound and Vision) publikoval v lednu zajímavý dokument, který shrnuje přístup, procesy a chápání dlouhodobé ochrany tohoto typu dat v dané instituci.
Dokument je pěkným dokladem transparentnosti konkrétní instituce, který tímto zcela jasně dává najevo o co jí jde, jaké procesy a přístupy jsou preferovány a kam vlastně směřuje. V textu naleznete informace o formátech, které jsou používány (DPX, MXF, BWF aj.), o plánování ochrany, o sledování technologií, o tom co rozumí pod pojmy autenticita a integrita, o řešení HW uložení, kontrolách fixity, preferovaných aktivitách ochrany, používaných metadatech, storage policy, rozlišování stupňů ochrany apod.
V úvodu dokumentu je uvedeno, že se institut bude snažit o stupňovitou certifikaci jako důvěryhodné úložiště (TDR) a to pomocí Digital Seal of Approval, DIN 31664 a DSA-WDS metodik. To vše v letech 2016-2020.

Zpráva je přístupná ke stažení jako PDF zde http://publications.beeldengeluid.nl/pub/388/

Publikovány prezentace z konference pracovní skupiny PASIG (Preservation and Archiving Special Interest Group)

V březnu 2015 proběhlo letošní setkání skupiny PASIG a prezentace opravdu stály za to. Nyní jsou dostupné online - zde http://library.stanford.edu/projects/preservation-and-archiving-special-interest-group/international-meetings/march-2015-san

Z těch, z mého pohledu, nejzajímavějších bych vybral:

• System Architecture for Digital Preservation (Neil Jefferies, Oxford University) - velmi obsáhlá prezentace o základech Digital Preservation, současném vývoji, problémech apod. 
• Preservation Policy for Humans (Nick Ruest, York University and Stephen Marks, University of Toronto) - potřebujete napsat Strategii dlouhodobé ochrany pro vaši instituci? Pak je tato prezentace pro vás, navede vás potřebným směrem.
• Cloud storage for preservation (Joseph Lampitt, Oracle) - je uložení v cloudu opravdu tak výhodné i pro velké objemy dat?
• Trustworthiness of Preservation Systems (David Minor, UC San Diego) - co je důvěryhodný digitální repozitář a proč je toto téma stálicí Digital preservation komunity? Prezentace podává pěkný přehled všech rámců certifikace nebo auditu, které jsou v současné chvíli dostupné.
• Preservation planning at BnF (Thomas Ledoux, Bibliothèque nationale de France) - jak probíhá plánování dlouhodobé ochrany v NK Francie? Kdo všechno je v procesu zapojen a jaké kroky proces má?
• Finnish Digital Preservation Service for Cultural Heritage (Mikko Tiainen, CSC - IT Center for Science Ltd.) - prezentace popisuje finskou národní infrastrukturu a systém pro dlouhodobou ochranu. Velmi dobře použitelné jako inspirace např. pro české prostředí. Prezentace také uvádí plány do budoucna, mezi nimi je i certifikace (ISO 27001 v roce 2015 a až za dva roky na to ISO 16363). Finové si vyvinuly vlastní LTP systém s použitím open source nástrojů.
• Preserving digital records and databases (Luis Faria, KEEP) - je představením projektu na ochranu databází a hlavně LTP nástroje RODA

Prezentace LTP systémů

• Rosetta 
• Preservica
• Archivematica

Na webu PASIG jsou dále dostupné záznamy z webinářů - http://www.preservationandarchivingsig.org/index.html

Portál s výstupy projektu TIMBUS - brána k TIMBUS nástrojům a aplikacím

Evropský projekt TIMBUS skončil na konci roku 2014 (http://cordis.europa.eu/project/rcn/99180_en.html).
Za 4 roky trvání bylo v rámci projektu vyvinuto relativně dost zajímavých nástrojů na digital preservation planning, risk assessment, vytváření technických kontextů apod. Tyto nástroje jsou nyní k dispozici přehledně na portálu TIMBUS (http://timbusproject.net/portal), který bude fungovat i po ukončení vlastního projektu.
Jde vlastně o ucelenou sadu nástrojů, které fungují jako celek, ale lze je používat i jednotlivě. Za zkoušku stojí určitě např.

• Context Population Framework (http://timbusproject.net/portal/context-population-framework/) - nástroje, které jsou schopné z konkrétního systému (a konkrétního OS) extrahovat závislosti na něm instalovaného SW a použitého HW
• HoliRisk (http://timbusproject.net/portal/risk-tools/73-portal/risk-tools/335-holirisk-tool-page) - nástroj na risk management vycházející z ISO31000
• DPES - Digital Preservation Expert Suite (http://timbusproject.net/portal/digital-preservation-expert-suite/) - komplexní nástroj na virtualizaci, uložení dat a migraci prostředí. Používá výstupy ostatních TIMBUS nástrojů, např. risk assessment report v xml a kontextový model v xml jako vstupní informaci, vytváří odhady nákladů ochrany apod. Vytváří také metadata, balíky dat k uložení v cloudu. Pro opětovné využití dat importuje všechny kontextové informace z balíku a na virtuálním serveru vytvoří původní prostředí.

SCOUT - preservation watch tool - nástroj na sledování rizik - finální report projektu a popis funkcionality

O nástroji SCOUT jsme již psali několikrát, poprvé v roce 2012 a také letos (viz http://digital-preservation-cz.blogspot.co.nz/2014/02/scape-scout-preservation-watch-system.html).

Tentokrát chceme upozornit na finální verzi reportu projektu SCAPE, v jehož rámci nástroj vznikl. Report popisuje funkcionalitu SCOUTu, možnosti jeho připojení a také testování na reálných příkladech (a datech) - jako např. dánský webový archiv apod.
Zpráva je dostupná zde http://www.scape-project.eu/wp-content/uploads/2014/05/SCAPE_D12.2_KEEPS_V1.0.pdf

SCOUT dokáže pracovat s různými zdroji informací, které poté používá k vyhodnocení rizik. Tyto zdroje jsou ke SCOUTu připojeny pomocí adaptérů. Několik základních adaptérů je dostupných, např. na PRONOM, C3PO nástroj. Ostatní je potřeba si dodělat. SCOUT je schopen tedy pracovat s profily repozitáře, tedy údaji o jeho obsahu - jaké formáty jsou uloženy (to zajišťuje nástroj C3PO), s registry formátů (PRONOM), se strategiemi a plány pokud jsou ve strojem čitelné podobě a s dalšími zdroji.

Nás v tomto kontextu mohou zajímat již hotové adaptéry na PRONOM a C3PO. C3PO je tedy teoreticky možné přes API připojit na jakýkoliv repozitář, tedy např. Fedora, DSpace nebo na LTP Archivematica nebo RODA (testováno). Vytvořit profil obsahu a ten pak použít jako input pro SCOUT, který tak vlastně nabízí těmto systémům další rozměr a přidává funkcionalitu dlouhodobé ochrany, kterou např. DSpace nebo Fedora nemají, Archivematicka a RODA pouze do jisté míry.

Co se stane, pokud SCOUT pošle varování, že konkrétní objekt nebo objekty v repozitáři jsou problematické? Je to vlastně první krok v procesu plánování ochranných akcí (preservation planning), který je možno provést dalším nástrojem - PLATO.
Všechny nástroje jsou v reportu linkované, takže je jednoduché je vyzkoušet.
SCOUT, C3PO byly testovány ve spojení s LTP systémem RODA, který je také volně dostupný.

Pokud se rozhodnete SCOUT nebo C3PO vyzkoušet, podělte se s námi o zkušenosti.

OCLC Preservation Health Check: Monitorování rizik pro obsah vašeho digitálního repozitáře

OCLC a OPF (Open Planets Foundation) provádějí od roku 2012 tzv. Preservation Health Check, což je pilotní projekt na analýzu kvality ochranných (preservation) metadat vytvářených a využívaných v digitálních repozitářích a systémem na ukládání. Cílem je posoudit potenciál těchto metadat k vytváření odhadů o míře rizik hrozících uloženému digitálnímu obsahu.

OPF poskytuje datové sety, feedback, organizuje celý projekt včetně workshopů a publicity. OCLC má experty na ochranná metadata a tzv. risk assessment. Navrhuje metodologii, provádí samotný výzkum, poskytuje technickou podporu apod.

Všechny dosavadní výsledky naleznete tady http://www.oclc.org/research/activities/phc.html. 

Poslední zpráva shrnuje přínosy ochranných metadat, náklady na jejich vytváření. Soustředí se na standard PREMIS a jeho mapování do metodologie posuzování rizik SPOT (Simple Property-Oriented Threat - http://www.dlib.org/dlib/september12/vermaaten/09vermaaten.html). SPOT je využíván na posuzování toho, zda PREMIS a jeho využití opravdu přinášejí potřebné údaje v oblastech, na které se soustředí SPOT - to jsou dostupnost, identita, dlouhodobá odolnost, zobrazitelnost, srozumitelnost a autenticita (digitálního obsahu).

http://www.oclc.org/content/dam/research/publications/library/2014/oclcresearch-preservation-health-check-2014-a4.pdf

DMPonline - nástroj na vytváření Data management plánů - DPC a JISC

Již v loňském roce vytvořily britské organizace DPC a JISC jednoduchý online nástroj na tvorbu a správu tzv. Data management plánů. Je to výborný nástroj použitelný v jakékoliv instituci, která vytváří a/nebo spravuje digitální data. Je potřeba se pouze zaregistrovat, nástroj si poté pamatuje plány, které jste vytvořili atd.
Co je to Data management plán? Jde o dokument, který si organizace vytváří pro svá digitální data. Může to být pro sbírku, pro data z konkrétního projektu, data od konkrétního původce. Plán pak obsahuje veškeré údaje, které o datech máme - jak vznikají, jak jsou přebírána, jak a kde jsou ukládána, stupeň ochrany atd atd. Dokument tohoto typu zabrání nejasnostem, poskytne přehled i pro nově příchozí kolegy, může pomoci v plánování a to velmi podstatně - kolik bude potřeba místa na úložišti? Kolik to bude stát? Budeme sbírku X a data od organizace Y ukládat na discích nebo na páskách? Právě z tohoto důvodu musí Data management plán vzniknout již na začátku, tedy před vznikem projektu, před vytvářením nebo přebráním dat. Dokument by to měl být závazný a tedy podepsaný manažerem organizace.
https://dmponline.dcc.ac.uk/ 

Jak jsou vaše data a instituce připraveny na dlouhodobou ochranu?

Americký Educopia Institute (http://www.educopia.org/) publikoval dokument, který se zabývá připraveností digitalizovaných novin na dlouhodobou ochranu - Guidelines for Digital Newspaper Preservation Readiness. Z názvu je jasné, že je dokument zaměřen na digitalizované noviny, ovšem zásady, které popisuje, jsou aplikovatelné na jakákoliv data v knihovnách nebo archivech.
Dokument je koncipován tak, že jde vlastně o návod jak postupovat, co zařídit, co kontrolovat v institucích, a to s minimálními náklady. Cílem je, aby data byla dobře spravována a tak "připravena" na dlouhodobou ochranu.
Pokryta jsou následující témata: inventarizace (co, kolik, a kde vlastně máme), organizace dat (názvy souborů, uložení apod.), správa formátů, správa metadat, správa kontrolních součtů, ochranné balíčky a další. Ke každé kapitole náleží seznam nástrojů, které jsou volně dostupné.
Dokument také přináší "kontrolní seznam", který je možné použít na rychlou nebo opakovanou kontrolu připravenosti vaší organizace na dlouhodobou ochranu dat (strana xi).
Autoři rozlišují mezi základní a optimální připraveností. Celý koncept připravenosti je navázán na v roce 2013 představené NDSA Stupně dlouhodobé ochrany - http://www.digitalpreservation.gov/ndsa/activities/levels.html.
Publikace se zdá velmi použitelno pro české knihovny, které spravují digitální data a nemají ustálené procesy okolo jejich správy a v dohledné době nepočítají s žádným sofistikovaným digitálním repozitářem na jejich ochranu.
Pokud máte digitální data a máte snahu je spravovat tak, aby byla použitelná v budoucnu, pak toto je dokument, který vám pomůže začít.


Ke stažení 

http://www.educopia.org/publishing/gdnpr
http://metaarchive.org/public/publishing/Guidelines_for_Digital_Newspaper_Preservation_Readiness.pdf

Zpráva "Hodnocení modelů na odhad nákladů digital preservation, potřeby a analýza nedostatků" z projektu 4C ke komentáři

V listopadu jsme informovali o analýze nástrojů na odhad nákladů, kterou vytvořili kolegové v projektu APARSEN - viz http://digital-preservation-cz.blogspot.co.nz/2013/11/zprava-cost-parameters-for-digital.html.
Nyní podobnou analýzu vydal ke komentáři projekt 4C, který se zabývá odhadem nákladů na archivaci dat. Zpráva je dostupná zde http://www.4cproject.eu/community-resources/outputs-and-deliverables/d3-1-evaluation-of-cost-models-and-needs-gaps-analysis-ms12-draft. Obsahuje popis těchto nástrojů:

• Test Bed Cost Model For Digital Preservation, T-CMDP
• NASA Cost Estimating Tool, NASA-CET
• LIFE3 Costing Model, LIFE3
• Keeping Research Data Safe, KRDS
• Cost Model For Digital Archiving, CMDA
• Cost Model For Digital Preservation, CMDP
• DP4LIB Cost Model, DP4LIB
• Prestoprime Cost Model For Digital Storage, PP-CMDS
• Total Cost Of Preservation, CDL-TCP
• Economic Model For Long-Term Storage, EMLTS

Nová analýza 33 existujících strategií dlouhodobé ochrany digitálních dat

Madeline Sheldon publikovala analýzu 33 existujících strategií dlouhodobé ochrany publikovaných knihovnami, archivy a muzei po celém světě. Pokud tedy vytváříte vlastní strategii, můžete se inspirovat, linky jsou součástí zprávy. Shrnutí naleznete na blogu Knihovny Kongresu tady http://blogs.loc.gov/digitalpreservation/2013/08/analysis-of-current-digital-preservation-policies-archives-libraries-and-museums/?loclr=twdig.
Kompletní zprávu pak jako PDF zde http://www.digitalpreservation.gov/documents/Analysis%20of%20Current%20Digital%20Preservation%20Policies.pdf.
Zajímavé je použití taxonomie na popis obsahu jednotlivých strategií, co která obsahuje. Viz poslední stránka s tabulkou. Strategie nejčastěji mluví o způsobu ochrany (procesy), zpřístupnění, spolupráci, rolích a odpovědnosti. Nejméně pak o plánování ochrany, auditu, ingestu a právech.

Pozn. - je zajímavé si všimnout, že pokud nemáte strategii publikovanou v angličtině, pro okolní svět neexistuje. Autorka pracuje pouze s těmi, které jsou dostupné v angličtině.

Dánský národní archiv zveřejnil novou verzi své strategie dlouhodobé ochrany

Dánský národní archiv zveřejnil anglickou verzi nové strategie dlouhodobé ochrany digitálních archiválií "Strategy for archiving digital records 
at the Danish National Archives". Jde o velmi zajímavé čtení. Národní archiv Dánska má velmi omezený počet formátů, které od původců akceptuje. Původci musí provést migraci dat do těchto formátů a do metadat podle standardu. Transfer digitálních dat probíhá každých 5 let a to i v případě, že se jedná o neuzavřené (tedy živé) fondy. Digitální archiválie jsou pak na obou místech, u původce i v archivu. Archiv tak vlastně dělá snapshoty - více ve vlastním dokumentu. Zároveň každý digitální archiv původce musí projít auditem, zda odpovídá standardům stanoveným národním archivem.
Situace tedy do jisté míry podobná té české, alespoň pokud se jedná o předepsanou množinu formátů, které archiv přijímá.

Zajímavý post o ISO 16363 a ISO 16919 - Audit důvěryhodných digitálních repozitářů

Na blogu texaského státního archivu a knihovny se objevil zajímavý příspěvek (https://www.tsl.state.tx.us/slrm/blog/?p=4812) o stavu norem ISO 16363 a především ISO 16919, která je normou upravující organizace, které mohou provádět audit podle ISO 16363. Norma je zdá se před dokončením.
Zajímavé jsou také informace o testovacích auditech, které proběhly v USA a v Evropě, kde ani jeden repozitář neprošel, většinou kvůli neexistenci tzv. preservation policies nebo psané kodifikaci procesů.
Vytvořit takovouto dokumentaci může trvat velmi velmi dlouho, instituce která by se ráda ucházela o ISO 16363 by proto měla být připravena daleko před auditem.
V textu se také skrývá malé varování: "ISO 16919 is getting closer and closer to finalizing. However, until this standard is completed, you cannot conduct any official ISO 16363 audits, which means that there is no such thing as ISO 16363 compliance. If a vendor tells you that they can do an ISO 16363 audit for you, they are either misinformed or outright lying, so hold on to your wallet!"

Ohlédnutí za druhým rokem projektu SCAPE na blogu Open Planets Foundation

Na blogu OPF byl před pár dny publikován souhrn nejdůležitějších aktivit a nástrojů projektu SCAPE, které  spatřily světlo světa v poslením roce. Byl vydán první Release platformy na dlouhodobou ochranu a provádění ochranných akcí na různě velkých množinách dat. Platforma obsahuje různé nástroje, které se mohou k provádění různých procesů velmi hodit. Popis Platformy SCAPE naleznete tady http://www.scape-project.eu/publication/an-architectural-overview-of-the-scape-preservation-platform.
Vznikly také další nástroje, např. PageLyzer na porovnávání webových stránek. Novou a zásadně vylepšenou verzi má také online nástroj na preservation planning PLATO, nyní ve verzi 4. Plato je vyvíjeno již několik let a směřuje k integraci a reálné spolupráci s různými systémy, jako např. EPrints, které využívá v PLATO nástroji vytvořené plány na ochranu ke spuštění procesů migrací apod. Podobně i portugalský open-source LTP systém RODA.

Webináře zdarma: Introduction to Digital Preservation

Americká asociace Association of Southeastern Research Libraries nabízí zdarma serii webinářů s úvodem do dlouhodobé archivace digitálních informací.

http://www.aserl.org/intro-dp-2013/

Témata jednotlivých prezentací jsou velmi zajímavá:

- Preservation Planning and Overview of PREMIS for Beginners (2. dubna 2013)
- Forbearing the Digital Dark Age: Capturing Metadata for Digital Object (9. dubna 2013)
- Management of Incoming Born-Digital Special Collections (16. dubna 2013)
- Using FITS to Identify File Formats and Extract Metadata (30. dubna 2013)

Prezentovat budou experti z amerických paměťových institucí a univerzit.

A ochutnávka, online volně dostupná prezentace z loňského roku ze stejné serie (na Vimeo jsou celkem 3):

ASERL Webinar: Intro to Digital Preservation #1: Identifying & Selecting Content from John Burger on Vimeo.

SPOT - nová metoda identifikace a hodnocení rizik v digitálním archivu

Sally Vermaaten, Brian Lavoie a Priscilla Caplan v novém čísle časopisu D-lib publikovali velmi zajímavý článek, který stojí za důkladné přečtení. Věnuje se metodám identifikace rizik, které hrozí nebo mohou hrozit datům v digitálním archivu. V úvodních částech podává výborný přehled literatury a publikací k tomuto tématu, včetně jejich popisu. Přílohou je tabulka taxonomií rizik (DRAMBORA, TRAC aj.) ze 4 pohledů, které autoři považují za nutné vlastnosti jakéhokoliv konceptu hodnocení rizik. Některé taxonomie jsou nevyvážené, dávají důraz na konkrétní oblasti a některé opomíjí, jsou různě granulovány, někde jsou smíchány pohledy na typy rizik apod. Z tohoto důvodu se autoři pokusili vytvořit obecný model, lehce použitelný pro různé typy digitálních archivů.
Hlavní náplní článku je tedy představení nového modelu identifikace možných rizik SPOT (Simple Property-Oriented Threat). SPOT se zaměřuje na rizika hrozící digitálním dokumentům (jejich vlastnostem), tedy obsahu archivu. Záměrně se nevěnuje rizikům spojeným např. s organizací, podpůrnými aktivitami (financování, personalistika apod.). SPOT definuje 6 základních vlastností (oblastí), které tvoří "úspěšnou digitální ochranu", jsou to:  

• availability, 
• identity, 
• persistence, 
• renderability, 
• understandability a 
• authenticity.

Tyto vlastnosti, které jsou vztahovány k digitálním objektům jako takovým, jsou v článku definovány, popsány a doplněny příklady možných rizik s nimi spojenými. 6 vlastností vychází z referenčního rámce OAIS, který některé z nich popisuje jako součást tzv. Popisné informace pro ochranu (Preservation Description Information), dále si autoři přibrali Autenticitu, která je součástí schématu pro ochranná metadata PREMIS a také Renderability (zobrazitelnost), která byla k OAIS přidána při jeho revizi v roce 2002.
Díky tomuto přístupu a obecnosti je SPOT aplikovatelný jednoduše a to na všechny typy digitálních archivů a lze jej využívat také k opakovanému monitorování stavu archivu.

Plný text k přečtení zde http://www.dlib.org/dlib/september12/vermaaten/09vermaaten.html. doi:10.1045/september2012-vermaaten

Velmi pěkné "návodné" video - Bill LeFurgy: Steps in a Digital Preservation Workflow

Video z online semináře pořádaného divizí americké asociace knihoven ALCTS. Video má podobu prezentace s výkladem v angličtině. Podává velmi pěkný (i když někdy zdlouhavý) popis procesů, které každá instituce může udělat pro ochranu svých digitálních dokumentů. Prezentace je plná diagramů, odkazů apod.
Prezentace pomůže pochopit problematiku i naprostému začátečníku a organizaci, která se chystá s ochranou digitálních dat začít.
Ke shlédnutí na YouTube - http://youtu.be/0A6MVp8GijQ
Video trvá hodinu, prezentace samotná 30 min, po 30 minutě začínají otázky, které jsou také velmi zajímavé.

Náklady na "digital preservation" a projekt dánského národního archivu a královské knihovny

Královská knihovna a národní archiv v Dánsku publikovaly výsledky několikaletého výzkumu v oblasti nákladů na uložení, ochranu digitálních dat. Jejich projekt Cost Model for Digital Preservation (CMDP) začal v roce 2009 na základě předchozích aktivit a pokračuje dodnes. Nástroj ve formě excelové tabulky [zde] je neustále doplňován a vyvíjen. Pokrývá OAIS moduly "Preservation planning", "Archival Storage", "Ingest" a částečně "Administration". Ke všemu je dostupná dokumentace.

Pěkné shrnutí - Návod pro strategii dlouhodobého uchovávání digitálních reprodukcí a jejich metadat

Guidelines for a Long-term Preservation Strategy for Digital Reproductions and Metadata
http://www.dca-project.eu/images/uploads/varia/DCA_D61_Guidelines_Long_Term_Preservation_Strategy_20120213_V1.pdf
V podstatě takový ideální úvod do problematiky digital preservation. Shrnuje přehledně na poměrně krátkém prostoru podstatná témata: yysvětluje základní pojmy a standardy, rozdíl mezi bit preservation a logical preservation, ukazuje význam formátů a metadat. Ukazuje základní strategie dlouhodobé ochrany (migraci, emulaci, posuzujue i cloudové alternativy a gridy atd.)

Automatizované sledování proměn prostředí archivu a úpravy plánů ochrany

První z výstupů projektu SCAPE, který se zabývá tzv. Automated Watch [link]. V rámci pracovní skupiny jsou vyvíjeny mechanismy na sledování obsahu, komunity a systémů, které vyhodnotí situaci a spustí polo-automatické aktivity (úpravy tzv. ochranných plánů apod.). Vyvinuty budou mechanismy dohledu, spouštěče aktivit a také vlastní aktivity. To vytvoří, spolu s plánováním ochrany, uzavřený koloběh ochranných procesů, ve kterém automatizované sledování sbírek, aktivit, plánů a systémů bude spouštět odpovídající reakce. Celý systém bude postavený na již osvědčeném nástroji na plánování ochranných akcí PLATO. Na něj bude navazovat další fáze "Monitorování", která může vést k revizi plánu ochrany a opětnému spuštění tvorby/úpravy plánu ochrany.

OAIS referenční rámec obsahuje koncept sledování okolí archivu, toto je první pokus jak tento proces automatizovat.