Identifikace kontejnerových formátů pomocí DROID

Ross Spencer publikuje pravidelně na svém blogu zajímavé příspěvky týkající se dlouhodobé archivace. Za přečtení určitě stojí jeho příspěvek z letošního ledna, který se týká problematiky identifikace kontejnerových formátů.

http://openpreservation.org/blog/2016/01/07/droid-container-signature-files-what-they-are-and-how-to-create-them-a-template-and-an-example-or-few/

Cílem toho příspěvku bylo primárně popsat, jak vytvořit signatures (magic numbers) pro nějaký nepopsaný souborový formát a dodat do Pronomu. Popis mechanismu identifikace kontejnerových formátů (zavedený do DROID ve verzi 6) je ale užitečné si přečíst, i pokud takové ambice nemáte.

Kontejnerové signatures publikuje Pronom zde: http://www.nationalarchives.gov.uk/aboutapps/pronom/droid-signature-files.htm
a Ross vysvětluje, jak jsou spolu tradiční formátové signatures a kontejnerové signatures provázány a jaký je postup identikace.

Především archivy, které pracují v různorodým sbírkami digital born dokumentů, by měly věnovat identifikaci formátů věnovat pozornost a tam kontejnerové formáty identifikovat pomocí odpovídajících signatures.

Vedle DROIDu existují dnes i další nástroje, které někdy používají data z Pronomu (FIDO) nebo umožňují používat zdrojů signatures víc, jako Siegfried.

Užitečné kontextové menu pro volání nástrojů pro validaci formátů apod.

Pro některé uživatele linuxových desktopů tohle může být užitečný nástroj - kontextové menu pro file managery caja nebo nautilus:

https://github.com/bitsgalore/contextactions

Identifikace pomoci unix file a apache tika, dál jsou zapojeny exiftool, jhove, jpylyzer, mediainfo, epubcheck atd....

Nový Udemy kurz - Managing metadata with ExifTool

Online kurzy Garyho McGatha už jsme zmiňovali. Nyní k nim ale přibyl další o nástroji ExifTool pro extrakci metadat. Kurz stojí nepříjemných 41 euro, ale do konce února je jej možno získat za pouhých 14 euro.

UDEMY Online kurzy - jak používat nástroje jako File, DROID, JHOVE, ExifTool, Apache Tika?

Gary McGath vytvořil online kurz "How to Tell a File's Format: Five Open Source Tools" a kurz s úvodem do osobní digitální archivace:
https://www.udemy.com/file-format-identification-tools/
https://www.udemy.com/personal-digital-preservation/

Bohužel pro našince je 27 i 18 Euro asi dost. :-(

Gary je mimochodem autorem první verze Jhove a podílel se na několika dalších projektech v oblasti dlouhodobé archivace.

Jak na FITS (File Information Tool Set) - návodné video na Youtube

Na Youtube (uživatel Nick Krabbenhoeft) se objevil zajímavý návod na instalaci a použití nástroje FITS. Ten se používá na identifikaci formátů dat a obsahuje několik nástrojů (JHOVE, NZME, TIKA, file, mediainfo aj). FITS je schopen použít tyto nástroje na identifikaci a podat výsledek v jednom XML souboru. S tím se samozřejmě pojí problémy, protože různé nástroje mají mnohdy různý nebo nejednotný výstup a výsledky.
Každopádně, pokud chcete FITS vyzkoušet, vše podstatné naleznete zde https://www.youtube.com/watch?v=ZghGAmdMd18

Ross Spencer: Analýza výstupu DROIDu a nápady jak efektivněji sdílet "format signatures"

Ross Spencer vytvořil užitečný nástroj analyzující výstup DROIDu.
http://openpreservation.org/blog/2014/06/03/analysis-engine-droid-csv-export/
https://github.com/exponential-decay/droid-sqlite-analysis
Výsledkem je souhrn v html, kde vidíte jaké formáty jsou ve vaší sbírce dat, kolik souborů nebylo identifikováno, duplicitní soubory apod.

Zajímavý je také jeho poslední příspěvek na blogu na OPF, kde navrhuje, jak by se dalo zefektivnit vytváření a sdílení DROID signatures (magic numbers používaných v nástrojích pro identifikaci formátů):
http://openpreservation.org/blog/2015/08/11/proposal-github-to-enable-a-federated-approach-to-distributing-and-utilising-custom-droid-signatures/

Siegfried - experimentální nástroj na identifikaci souborých formátů

Richard Lehane vytvořil nový experimentální nástroj na identifikaci souborových formátů, který využívá PRONOM signatures. Je to nástroj podobný jako DROID, Unix file nebo FIDO,  Richard na svém webu píše, že ale používá jiné algoritmy než DROID a měl by být rychlejší. 

web: http://www.itforarchivists.com/siegfried

github: https://github.com/richardlehane/siegfried

článek: http://openpreservation.org/knowledge/blogs/2014/09/27/siegfried-pronom-based-file-format-identification-tool/

Uvidíme, jestli se ujme. Při identifikaci jde vždycky minimálně o dvě věci, rychlost a spolehlivost. Ještě je ale asi brzo na to, aby někdo udělal pokus a srovnal výkon Siegfriedu s ostatními nástroji, jako to udělal Johan van der Knijff roce 2012 (http://www.slideshare.net/SCAPEproject/evaluation-of-format-identification-tools)

Nanite: https://github.com/openplanets/nanite/

Do seznamu nástrojů jsem přidal Nanite: https://github.com/openplanets/nanite/ , který balí DROID a Apache Tika a má sloužit pro identifikaci a charakterizaci větších objemů dat. Kromě standardní command line aplikace je dostupná také aplikace pro Hadoop pro zpracování dat z Webarchivace.

Nástroj FITS v nové a podstatně vylepšené verzi

Gary McGath strávil celý duben úpravami nástroje FITS, který obsahuje balík jiných nástrojů jako jsou JHOVE, DROID, NZME a dokáže poskytnout jeden výstup v XML s výsledky, které tyto nástroje dávají pro konkrétní soubor.
V nové verzi, která je dostupná na GitHub (https://github.com/gmcgath/fits-mcgath) byly aktualizovány nástroje DROID, JHOVE, a hlavně byla přidána Tika. FITS je teď také schopný dát výsledky (tj. extrahovat vlastnosti) z video souborů, k čemuž využívá elementy např. z MediaInfo, PBcore a popis z Archivematiky.
Rozhodně stojí za vyzkoušení!
Podrobnosti viz zde http://www.openplanetsfoundation.org/blogs/2013-04-30-getting-fits-shape

JHOVE2 verze 2.1.0

Byla zveřejněna nová verze JHOVE2:

1. Novinkou je možnost vybrat si nástroj pro identifikaci formátů, dnes má uživatel na výběr mezi DROIDem a unixovým programem File.
2. Byl přidán modul pro zobrazení výsledků, tj, nyní je možné výstup snáze konvertovat pomocí XSLT.
3. Přibyly tři formátové moduly: ARC, WARC, a GZIP

Rýsuje se zapojení Microsoftu do řešení problémů dlouhodobého uchování?

Chris Rusbridge publikoval koncem října na svém blogu Unsustainable Ideas otevřený dopis Tonymu Heyovi, viceprezidentovi Microsoft Research Connections, s výzvou, aby Microsoft zveřejnil specifikace svých starších digitálních formátů. Výzva vyvolala zajímavou diskuzi v komentářích na blogu, včetně podpory ze strany mnoha paměťových institucí i jednotlivců anagažujících se v oblasti digitálního uchování. Některé body z této diskuze Chris shrnul v dalším samostatném příspěvku.

Z Microsoftu nedlouho poté přišly dvě poměrně pozitivní reakce. Podle Tonyho Heye Microsoft sice nemá požadované specifikace k dispozici a většina zaměstnanců, kteří se podíleli na vývoji původních formátů, už v Microsoftu nepracuje, ale Microsoft je ochotný spolupracovat na dodatečném zpětném vytvoření těchto specifikací, např. formou crowdsourcingu. Navíc by mohl zvážit vytvoření speciálních licencí, které by umožnily využít starší verze operačních systémů a MS Office pro zpřístupnění a konverzi starých digitálních formátů. Přišla také reakce Jima Thatchera z týmu Office and standards interoperability, podle kterého se Microsoft bude snažít přijít s kontrétními návrhy, jak se posunout v řešení těchto problémů dále.

Vstup tak významného hráče, jakým je Microsoft, by mohl představovat zásadní průlom v řešení některých problémů v oblasti digitálního uchování, za něž je Microsoft bezesporu sám spoluodpovědný. Z reakcí není jasné, nakolik jde o závazné stanovisko Microsoftu, ale vypadá to, že snaha by tady mohla být. Že by se blýskalo na lepší časy?

Vyhledávač v registrech formátů je online

Gary McGath zveřejnil svůj nástroj na vyhledávání v (procházení) registrech formátů online [http://regbrowser.appspot.com/]. Nástroj prohledává PRONOM, DBpedii a UDFR registry, a to podle MIME type, názvu, koncovky a registru, nebo jejich kombinace.
Jde o stejný nástroj, který před pár týdny zveřejnil na stránce GitHub ke stažení [https://github.com/gmcgath/format-reg-browser].

DOI ISO standardem

Staronová novinka z obasti trvalých identifikátorů, DOI se stal ISO standardem letos v květnu.

ISO 26324:2012, Information and documentation -- Digital object identifier systemDalší informace a informace o systému DOI:
http://www.iso.org/iso/home/news_index/news_archive/news.htm?refid=Ref1561

Kromě toho byly letos publikovány další dva standardy z této oblasti:
ISO 27729:2012 - Information and documentation -- International standard name identifier (ISNI)
ISO 27730:2012- Information and documentation -- International standard collection identifier (ISCI)

Nástroje na identifikaci, validaci a extrakci metadat ze souborových formátů

Užitečný seznam nástrojů včetně stručného popisku a klasifikace podle tří kritérií:

• funkce (identifikace, validace, extrakce metadat, oprava chyb)
• způsobu spuštění/typu aplikace (příkazový řádek nebo desktopová aplikace, online aplikace, softwarová knihovna)
• dostupnosti (open source, freeware, zdarma pro určené typy uživatelů, komerční SW)

http://www.garymcgath.com/formatsoftware.html?goback=.gde_126125_member_153733875

Nástroje na charakterizaci a identifikaci formátů - srovnávací zpráva Australské národní knihovny

Australská národní knihovna zveřejnila závěrečnou zprávu z testování několika nástrojů na extrakci metadat a identifikaci datových formátů. Zpráva je myšlena jako doplněk k podobným projektům a porovnáním, proto obsahuje ne zcela tradiční nástroje, což je z našeho pohledu velký přínos.
Zpráva je dostupná z webu OPF [tady] nebo přímo plný text [.pdf, 1.8MB].

Nástroje na identifikaci datových formátů:

• File Investigator Engine
• Outside-In File ID
• FIDO
• Unix file / libmagic

Nástroje na extrakci metadat:

• File Investigator Engine
• Exiftool
• MediaInfo
• pdfinfo from the Xpdf toolkit
• Apache Tika

Jak na migraci digitálních dat? Jak na metadata podporující autenticitu dokumentů?

Archiv australského státu Queensland zveřejnil sadu dokumentů, které jsou míněny jako pomoc institucím, které do tohoto archivu posílají své digitální dokumenty vzniklé (nejčastěji) činností státní správy. Mezi 4 dokumenty jsou tři, které mohou pomoci i českým institucím různého druhu (nejen archivům). První popisuje roli metadat pro dlouhodobou ochranu (zachování integrity, autenticity, údajů o událostech apod.). Druhý dokument přibližuje jak postupovat a co vše vzít do úvahy při migraci dat ze starého systému do nového, nebo případně při zastarání formátů souborů. Poslední dokument se věnuje vhodným formátům souborů pro vytváření digitálních záznamů (ve smyslu archivního záznamu), je ovšem použitelný na jakoukoliv sbírku digitálních dokumentů.

Migrating Digital Records (PDF, 535KB)
Metadata for Digital Continuity (PDF, 244KB)
Advice on choosing file formats for digital records (PDF, 84KB)

How to research and develop signatures for file format identification

Britský národní archiv (TNA), tvůrce a provozovatel formátového registru PRONOM a souvisejícího nástroje na identifikaci formátů DROID, vydal užitečný návod na pochopení a tvorbu tzv. signatures pro souborové formáty. 19ti stránkový dokument v PDF stahujte zde.