FLINT - modulární a rozšiřitelný framework pro validaci formátů

Trochu jiný přístup k validaci formátů představuje FLINT.

FLINT umožňuje validovat formáty souborů proti nějak definované policy - tj. umožňuje validovat formáty proti specifickému standardu konkrétní instituce nebo konkrétní sbírky s využitím schematronu.  Dostupná verze, vzniklá v projektu SCAPE, zapojuje nástroje pro zpracování PDF a ePub.

Současná verze balí PDFBox, Apache Tika, Calibre, EPUBCheck, iText. 

RODA - popis vyhovění ISO 16363

Tvůrci OS systému pro dlouhodobou archivaci RODA zveřejnili v rámci projektu Scape Report on compliance validation k ISO 16363:

http://www.scape-project.eu/wp-content/uploads/2014/09/SCAPE_MS63_KEEPS-V1.0.pdf

V českém prostředí stojí zvláště za pozornost podpora formátu NSESS, vedle EAD, například....

SCAPE - Propagační video

SCAPE Project - Digital Preservation into the Petabyte Dimension from SCAPE project on Vimeo.

Webinář: Tools for uncovering preservation risks in large repositories

Open Planets Foundation pořádá ve čtvrtek 26. června 2014 webinář Tools for uncovering preservation risks in large repositories zaměřený na nástroje Scout a C3PO určené k analýze obsahu (velkých) digitálních repozitářů.

SCOUT - preservation watch tool - nástroj na sledování rizik - finální report projektu a popis funkcionality

O nástroji SCOUT jsme již psali několikrát, poprvé v roce 2012 a také letos (viz http://digital-preservation-cz.blogspot.co.nz/2014/02/scape-scout-preservation-watch-system.html).

Tentokrát chceme upozornit na finální verzi reportu projektu SCAPE, v jehož rámci nástroj vznikl. Report popisuje funkcionalitu SCOUTu, možnosti jeho připojení a také testování na reálných příkladech (a datech) - jako např. dánský webový archiv apod.
Zpráva je dostupná zde http://www.scape-project.eu/wp-content/uploads/2014/05/SCAPE_D12.2_KEEPS_V1.0.pdf

SCOUT dokáže pracovat s různými zdroji informací, které poté používá k vyhodnocení rizik. Tyto zdroje jsou ke SCOUTu připojeny pomocí adaptérů. Několik základních adaptérů je dostupných, např. na PRONOM, C3PO nástroj. Ostatní je potřeba si dodělat. SCOUT je schopen tedy pracovat s profily repozitáře, tedy údaji o jeho obsahu - jaké formáty jsou uloženy (to zajišťuje nástroj C3PO), s registry formátů (PRONOM), se strategiemi a plány pokud jsou ve strojem čitelné podobě a s dalšími zdroji.

Nás v tomto kontextu mohou zajímat již hotové adaptéry na PRONOM a C3PO. C3PO je tedy teoreticky možné přes API připojit na jakýkoliv repozitář, tedy např. Fedora, DSpace nebo na LTP Archivematica nebo RODA (testováno). Vytvořit profil obsahu a ten pak použít jako input pro SCOUT, který tak vlastně nabízí těmto systémům další rozměr a přidává funkcionalitu dlouhodobé ochrany, kterou např. DSpace nebo Fedora nemají, Archivematicka a RODA pouze do jisté míry.

Co se stane, pokud SCOUT pošle varování, že konkrétní objekt nebo objekty v repozitáři jsou problematické? Je to vlastně první krok v procesu plánování ochranných akcí (preservation planning), který je možno provést dalším nástrojem - PLATO.
Všechny nástroje jsou v reportu linkované, takže je jednoduché je vyzkoušet.
SCOUT, C3PO byly testovány ve spojení s LTP systémem RODA, který je také volně dostupný.

Pokud se rozhodnete SCOUT nebo C3PO vyzkoušet, podělte se s námi o zkušenosti.

Rozhovor s Pavlem Smržem z VUT o tom proč a jak se VUT zapojilo do projektu SCAPE

Na blogu OPF je rozhovor s Pavlem Smržem z VUT v Brně, který se od září 2013 podílí na projektu SCAPE:

http://openplanetsfoundation.org/blogs/2014-03-07-interview-scaper-pavel-smrz

"I lead a work package dealing with the Data Centre Testbed. Together with other new project partners, we aim at extending the current SCAPE development towards preserving large-scale computing experiments that take place in modern data centres. Our team particularly focuses on preservation scenarios and workflows related to large-scale video processing and interlinking."

"My experience shows that “one-size-fits-all” solutions are often too scary to be used. Although funding agencies believe opposite, research and development project seldom deliver solutions that could be used as a whole. It is often the case that what seemed to be a minor contribution becomes the next big thing for business. I believe that at least some components developed within the project have this great potential."

SCAPE SCOUT - Preservation watch system

O tzv. Preservation Watch systému, který vzniká v projektu SCAPE jsme už před časem psali (http://digital-preservation-cz.blogspot.cz/2012/02/automatizovane-sledovani-promen.html)

Systém pro automatické sledování rizik a možností pro dlouhodobou ochranu mezitím dostal název Scout a jasnější obrysy funkcí. Měl by uživatele automaticky upozornit na nové nástroje nebo verze, nově odhalená rizika, mohl by archivu pomoci zjistit, které další instituce mají podobná data ve stejných formátech . Automaticky by měl sklízet řadu informačních zdrojů a měl by je zpřístupňovat formou ontologické znalostní báze(Více na  http://openplanets.github.io/scout/)

Nyní je možnost vyjádřit se k tomu, co by měl tento systém sledovat v dotazníku:
http://survey.scape-project.eu/index.php/862812/lang/en

Zajímá vás certifikace digitálních repozitářů? Chcete se dozvědět jak použít DSA, ISO 16363 a německou metodiku NESTOR?

Pak se podívejte na záznam APARSEN webináře, který tato témata pokrývá. Data Seal of Approval, ISO 16363 (Barbara Sierman, KB), NESTOR (Sabine Schrimpf).
Dostupné na http://www.youtube.com/watch?v=ZNvBVUQDXWY

Seznam Digital Preservation Policies/Strategies

Objevil se další web, kde lze vidět seznam DP strategií nebo policies. Tentokrát jde o seznam budovaný v projektu SCAPE a hostovaný na Open Planets Foundation Wiki. Seznam policies archivů, knihoven a dalších institucí najdete zde http://wiki.opf-labs.org/display/SP/Published+Preservation+Policies.
Pokud máte DP policy/strategy publikovanou na webu, můžete ji poslat do projektu SCAPE a poté se objeví v uvedeném seznamu. Kontakt na Barbaru Sierman naleznete v tomto příspěvku na blogu OPF http://www.openplanetsfoundation.org/blogs/2013-10-07-published-preservation-policies

VUT Brno, nový partner v projektu SCAPE

V jednom z největších projektů v oblasti dlouhodobé archivace financovaném ze Strukturálních fondů došlo teď těsně před koncem projektu k zajímavé změně: mezi partnery SCAPE se objevila moravská univerzita - VUT Brno.

Po Národní knihovně (DigitalPreservationEurope, Liwa) a Ciantu (CASPAR) je to další instituce z ČR, která je partnerem v projektu zabývajícím se dlouhodobou archivací v programu ICT.

Jak přesně se asi VUT Brno na projektu SCAPE podílí?

Ohlédnutí za druhým rokem projektu SCAPE na blogu Open Planets Foundation

Na blogu OPF byl před pár dny publikován souhrn nejdůležitějších aktivit a nástrojů projektu SCAPE, které  spatřily světlo světa v poslením roce. Byl vydán první Release platformy na dlouhodobou ochranu a provádění ochranných akcí na různě velkých množinách dat. Platforma obsahuje různé nástroje, které se mohou k provádění různých procesů velmi hodit. Popis Platformy SCAPE naleznete tady http://www.scape-project.eu/publication/an-architectural-overview-of-the-scape-preservation-platform.
Vznikly také další nástroje, např. PageLyzer na porovnávání webových stránek. Novou a zásadně vylepšenou verzi má také online nástroj na preservation planning PLATO, nyní ve verzi 4. Plato je vyvíjeno již několik let a směřuje k integraci a reálné spolupráci s různými systémy, jako např. EPrints, které využívá v PLATO nástroji vytvořené plány na ochranu ke spuštění procesů migrací apod. Podobně i portugalský open-source LTP systém RODA.

Rizika formátu PDF

Na blogu Open Planets Foundation se objevil zajímavý příspěvek Johana van der Knijffa z holandské Královské knihovny. Upozorňuje na svoji starší práci, kde identifikoval rizika formátu PDF pro dlouhodobou archivaci:

Adobe Portable Document Format, Inventory of long-term preservation risks:
http://www.openplanetsfoundation.org/system/files/PDFInventoryPreservationRisks_0_2_0.pdf

a shrnuje svoje zkušenosti z používáním knihovny Apache Preflight (součást PDFBox) při identifikaci preservačních rizik existující sbírky PDF dokumentů. Apache Preflight je knihovna určená k validaci PDF/A, ovšem Johan ji tady používá trochu jinak. Protože zdaleka ne všechny sbírky PDF dokumentů jsou migrovány podle požadavků standardu PDF/A, Johan se snaží použít Apache Preflight k identifikaci z hlediska dlouhodobé archivace nežádoucích vlastností nearchivních PDF. Netestuje tedy zda a jak Apache Preflight validuje PDF/A, ale testuje, zda je tahle knihovna vhodným nástrojem k identifikaci vlastností, které jsou v PDF/A zakázány.

Identification of preservation risks in PDF with Apache Preflight a first impression:
http://www.openplanetsfoundation.org/system/files/pdfProfilingJvdK19122012.pdf

Jeho závěry nejsou zatím pro Apache Preflight moc optimistické. Především, pokud Apache Preflight identifikuje nějaké odchylky od požadavků PDF/A-1b, zastaví často další zpracování dokumentu, a není tedy schopen dodat kompletní report. Mnohem spolehlivější jsou zatím nástroje Acrobatu, který byl v jeho testech schopen identifikovat všechny rizikové vlastnosti PDF souborů.

Snad se Apache Preflight archivní komunita ujme, a posune jeho vývoj a testování dál. Jinak bude třeba spoléhat pouze na komerční nástroje.

A ještě malé doplnění. Existuje také starší projekt vývoje Jhove ve stejném směru, tedy k ověření kompatibility PDF se specifikací PDF/A:  https://github.com/blekinge/jhove-pdf-a

Format Corpus

Pánové z Open Planets Foundation a projektu SCAPE tvoří velmi zajímavý korpus /volně dostupný/ digitálních formátů.
Jeho současný obsah vidět na http://www.opf-labs.org/format-corpus/tools/coverage/reports/
Další informace tady: https://github.com/openplanets/format-corpus

Nejde jen o to, že by snad chtěli posbírat co nejvíc zajímavých formátů, ale cílem téhle aktivity je zvýšit počet souborů, které jsou nástroje jako Droid, Tika, File, atd schopny identifikovat. Také chtějí směřovat k vytvoření jednotného workflow pro vytváření file signatures tak, aby nebylo třeba vytvářet signatures pro každý nástroj zvlášť. K tomuto účelu také pracují na nástroji, který má sdílení signatures usnadnit, kterému říkají Fidget.

Více zde:

http://wiki.curatecamp.org/index.php/Collecting_format_ID_test_files
http://wiki.curatecamp.org/index.php/Improving_format_ID_coverage

Vedle zde zmiňovaného "atlasu digitálních poškození" je tohle ještě další pokus vytvořit základní globální infrastrukturu informací o digitálních formátech.

Automatizované sledování proměn prostředí archivu a úpravy plánů ochrany

První z výstupů projektu SCAPE, který se zabývá tzv. Automated Watch [link]. V rámci pracovní skupiny jsou vyvíjeny mechanismy na sledování obsahu, komunity a systémů, které vyhodnotí situaci a spustí polo-automatické aktivity (úpravy tzv. ochranných plánů apod.). Vyvinuty budou mechanismy dohledu, spouštěče aktivit a také vlastní aktivity. To vytvoří, spolu s plánováním ochrany, uzavřený koloběh ochranných procesů, ve kterém automatizované sledování sbírek, aktivit, plánů a systémů bude spouštět odpovídající reakce. Celý systém bude postavený na již osvědčeném nástroji na plánování ochranných akcí PLATO. Na něj bude navazovat další fáze "Monitorování", která může vést k revizi plánu ochrany a opětnému spuštění tvorby/úpravy plánu ochrany.

OAIS referenční rámec obsahuje koncept sledování okolí archivu, toto je první pokus jak tento proces automatizovat.