Zobrazují se příspěvky se štítkemFormáty. Zobrazit všechny příspěvky
Zobrazují se příspěvky se štítkemFormáty. Zobrazit všechny příspěvky

úterý 20. února 2018

Hodnocení souborových formátů z pohledu digitální archivace

Na webu jsou dostupné dva zajímavé a průběžně aktualizované zdroje věnující se hodnocení souborových formátů pro dlouhodobé uchovávání:

1. British Library

http://wiki.dpconline.org/index.php?title=File_Formats_Assessments
Britská knihovna provádí postupně hodnocení formátů (File formats assessments) a výsledné zprávy zveřejňuje. Zprávy mívají stejnou strukturu, sleduje se vývojový stav formátu, rozšíření v paměťové komunitě, softwarová podpora (včetně nástrojů pro digitální archivaci), dostupnost dokumentace, existující patenty, rizika pro dlouhodobou archivaci. Na závěr jsou formulována doporučení týkající se použití formátu příp. dalšího vývoje.
Hodnoceny byly například formáty TIFF, JPEG2000, EPUB, PDF, MOBI, WAVE, FLAC apod. Formáty průběžně přibývají.

2. KOST-CECO

Jedná se o švýcarskou skupinu expertů, jejichž cílem je podpora archivů při archivaci digitálních dokumentů, mimo jiné se podílí na specifikaci archivní verze formátu TIFF a vytvořily minimálně dva nástroje zajímavé pro digitální archivaci- KOST-Val a KOST-Simy.

Na webu https://kost-ceco.ch/wiki/whelp/KaD/index.php?ld=https://kost-ceco.ch/wiki/whelp/KaD/pages/KaD.html  skupina zpřístupnila své hodnocení formátů. Hodnotí je dle následujících kritérií: existence a dostupnost dokumentace, existence patentů, rozšíření, funkčnost, softwarová podpora, validovatelnost, existence best practice s tímto formátem, perspektiva formátu. Podle těchto kritérií je formát bodově ohodnocen (čím vyšší tím lepší, maximem jsou zřejmě 4 body), body jsou přepočítány a výsledkem je tabulka srovnávající formáty:
https://kost-ceco.ch/wiki/whelp/KaD/index.php?ld=https://kost-ceco.ch/wiki/whelp/KaD/pages/Bewertungsmatrix.html
Zeleně označené (v dolním řádku) jsou formáty vhodné pro archivaci, červeně označené jsou nevhodné pro archivaci. Například pro obrazová data je nyní zřejmě na prvním místě formát JPEG2000 (v listopadu 2017 byl ještě na druhém místě za formáty TIFF a PDF/A-2)

Hodnocení a tabulka jsou průběžně aktualizovány, naposledy v prosinci 2017.

pátek 17. března 2017

Guetzli: Perceptually Guided JPEG Encoder

https://arxiv.org/pdf/1703.04421.pdf

Guetzli: Perceptually Guided JPEG Encoder
J. Alakuijala, R. Obryk∗ , O. Stoliarchuk, Z. Szabadka, L. Vandevenne, and J. Wassenberg
Google Research Europe
March 14, 2017

Guetzli is a new JPEG encoder that aims to produce visually indistinguishable images at a lower bit-rate than other common JPEG encoders. It optimizes both the JPEG global quantization tables and the DCT coefficient values in each JPEG block using a closed-loop optimizer. Guetzli uses Butteraugli [1], our perceptual distance metric, as the source of feedback in its optimization process. We reach a 29-45% reduction in data size for a given perceptual distance, according to Butteraugli, in comparison to other compressors we tried. Guetzli’s computation is currently extremely slow, which limits its applicability to compressing static content and serving as a proof- of-concept that we can achieve significant reductions in size by combining advanced psychovisual models with lossy compression techniques

pátek 11. listopadu 2016

10.11. 2016 Konference CDA - Formátové výzvy LTP

V Bratislavě proběhla 10.11. 2016 konference CDA, nazvaná Formátové výzvy LTP. Vyšel k ní i sborník:

CDA 2016: Formátové výzvy LTP : zborník prispevkov z 1. mezinárodnej konferencie o dlhodobej archivácii: Bratislava, 10.11.2016 / zost. Lucia Klementová, ISBN 978-80-89303-53-3

Spíše než o formátových výzvách to bylo celé o formátových strategiích a spíše než konference to byl seminář, kde byla stejně zajímavá debata jako jednotlivé příspěvky.

V první ranní sekci vystoupil Milan Rakús s příspěvkem o projektu CDA a jeho formátové strategii. Vysvětlil stav projektu CDA po dvou letech ostrého provozu, a popsal přístup CDA k formátům. Odpovědnost za výběr důvěryhodného formátu a jeho případnou migraci je v kontextu CDA na producentech dat, PFI. CDA se snaží je nutit k tomu, aby dodávali data v rozumných formátech (popsaných, s otevřenou specifikací) tak, aby počet formátů v archivy nebyl moc velký, v současnosti mají 26 typů formátů (při ca 3PB dat) nepočítaje v to samozřejmě data z nového projektu Digitálně pramene, kde se sklízí web.

Ve druhé přednášce vystoupila B. Žigová z CDA, a popsala existující formátové strategie některých archivů a knihoven v Evropě. Její srovnání trochu kulhalo na jednu nohu, protože porovnávala archivy archivující data procházející skartací, a jiné typy archivů. Data u ERMS systémů jsou kontrolovaná, a obvykle lze omezit počet dodávaných formátů, ale data přicházející mimo skartační řízení není asi jednoduché regulovat z hlediska variability formátů. Přesto paměťové instituce chtějí uchovávat takový obsah.

Příspěvek Jan Hutaře, (prezentoval M. Melichar), se nezabýval formátovou strategií Národního Archivu na NZ, ale změnami Pronomu a projektem NA NZ na opakovanou identifikaci formátů. NA NZ a NK NZ mají poměrně heterogenní sbírky, každá instituce ca 120TB dat. Uvědomili si, že Pronom a DROID se za posledních deset let dost proměnily, a opakovaná identifikace formátů přináší jiné výsledky než identifikace při vložení dat před 5 nebo 8 lety.




L. Cubr ve svém příspěvku vysvětlil, proč NK ČR používá formát JPG2000, poukázal na to, že NK ČR má především problémy s historickými daty. Jako zásadní problém uvedl zajištění kvality dat, NK ČR teď vytváří komplexní validátor, který bude validovat metadata z obsahového hlediska a validovat formáty vzhledem k profilu JP2, který NK od producentů vyžaduje.

Peter Bubestinger z rakouské Mediatéky měl velmi zajímavý příspěvek o tom, jak vybrat správně formát pro archivaci audiovizuálního obsahu. Upozornil na to, že hledání formátu, který umí všechno, nemá moc smysl. Vysvětlil, co všechno musíme vzít v úvahu, když vybíráme formát pro archivaci videa.

Odpoledne zazněly dva příspěvky týkající se archivace webu, jeden od A. Bizíka, o projektu Digitálně pramene, který představil formát WARC a první sklizně slovenského webu. Projekt má ca 800TB plánované kapacity, v současnosti nasklízeno ca 6TB dat, 40+ strojů s Heritrixem, část obsahu přístupná volně, v podobném režimu jako český Webarchiv. J. Kvasnica popsal novou verzi standardu pro warc 1.1, je ve fázi schvalování aktualizace ISO normy. Změny se týkají především oprav a vylepšení pro podporu deduplikace. Následující dotazy se týkaly možnosti sklízet javascriptem generované objekty, což webarchiv NK ČR prý dělá pro některé zdroje s využitím headless browserů, je to velmi pomalé, v masivnější míře nepoužitelné.

Příspěvek K. Mišutha z Tempestu poodhalil technologie, které jsou používány v CDA, resp. v jeho katalogu. Pro uchování metadata používají no sql sloupcovou databázi HDBase. Ukázal, jak získávají formátové statistiky pomocí YARN. To, co v archivu mají, by asi obsloužila i běžná relační databáze, ovšem architektonické rozhodnutí použít HDBase vzniklo na začátku plánování CDA pravděpodobně z důvodů nejasnosti typů metadatových struktur, se kterými bude katalog archivu CDA pracovat. Dnes to developerům trochu komplikuje život, ovšem do budoucna se možná ukáže, že to je udržitelnější přístup. Ze statistik, které Kamil ukázal, bylo vidět, že skoro dvě třetiny objektů v CDA jsou ve formátech/u TIFF.

Následující příspěvek se týkal produktu PIQL a poslední příspěvek IBM informoval, jaké jsou v oblasti LTP nástroje pro audit a certifikaci a co je to důvěryhodné úložiště. Vzhledem k tomu, že v publiku seděli lidé z institucí, které mají selfaudit podle ISO 16363 za sebou nebo na něm pracují, nebo které mají za sebou DSA certifikaci, byl příspěvek poněkud málo prakticky orientovaný a mnoho nového většině publika asi nepřinesl. Je to škoda, protože by určitě bylo zajímavé se dozvědět, jaké praktické zkušenosti má IBM s certifikací nebo auditem důvěryhodných úložišť u svých zákazníků.







čtvrtek 2. června 2016

Identifikace kontejnerových formátů pomocí DROID

Ross Spencer publikuje pravidelně na svém blogu zajímavé příspěvky týkající se dlouhodobé archivace. Za přečtení určitě stojí jeho příspěvek z letošního ledna, který se týká problematiky identifikace kontejnerových formátů.

http://openpreservation.org/blog/2016/01/07/droid-container-signature-files-what-they-are-and-how-to-create-them-a-template-and-an-example-or-few/

Cílem toho příspěvku bylo primárně popsat, jak vytvořit signatures (magic numbers) pro nějaký nepopsaný souborový formát a dodat do Pronomu. Popis mechanismu identifikace kontejnerových formátů (zavedený do DROID ve verzi 6) je ale užitečné si přečíst, i pokud takové ambice nemáte.

Kontejnerové signatures publikuje Pronom zde: http://www.nationalarchives.gov.uk/aboutapps/pronom/droid-signature-files.htm
a Ross vysvětluje, jak jsou spolu tradiční formátové signatures a kontejnerové signatures provázány a jaký je postup identikace.

Především archivy, které pracují v různorodým sbírkami digital born dokumentů, by měly věnovat identifikaci formátů věnovat pozornost a tam kontejnerové formáty identifikovat pomocí odpovídajících signatures.

Vedle DROIDu existují dnes i další nástroje, které někdy používají data z Pronomu (FIDO) nebo umožňují používat zdrojů signatures víc, jako Siegfried.


pátek 8. dubna 2016

UDFR - ukončení projektu

Stephen Abrams oznámil ukončení projektu UDFR, sémantického registru digitálních formátů, a doporučil komunitě používat nadále PRONOM. Takže další pokus o globální formátový registr máme za sebou.

Uvidíme, jestli uspěje skupina knihoven kolem projektu Digital preservation technical registry.

čtvrtek 3. března 2016

Užitečné kontextové menu pro volání nástrojů pro validaci formátů apod.

Pro některé uživatele linuxových desktopů tohle může být užitečný nástroj - kontextové menu pro file managery caja nebo nautilus:

https://github.com/bitsgalore/contextactions

Identifikace pomoci unix file a apache tika, dál jsou zapojeny exiftool, jhove, jpylyzer, mediainfo, epubcheck atd....



úterý 23. února 2016

Nový Udemy kurz - Managing metadata with ExifTool

Online kurzy Garyho McGatha už jsme zmiňovali. Nyní k nim ale přibyl další o nástroji ExifTool pro extrakci metadat. Kurz stojí nepříjemných 41 euro, ale do konce února je jej možno získat za pouhých 14 euro.

úterý 26. ledna 2016

UDEMY Online kurzy - jak používat nástroje jako File, DROID, JHOVE, ExifTool, Apache Tika?

Gary McGath vytvořil online kurz "How to Tell a File's Format: Five Open Source Tools" a kurz s úvodem do osobní digitální archivace:
https://www.udemy.com/file-format-identification-tools/
https://www.udemy.com/personal-digital-preservation/

Bohužel pro našince je 27 i 18 Euro asi dost. :-(

Gary je mimochodem autorem první verze Jhove a podílel se na několika dalších projektech v oblasti dlouhodobé archivace.

pondělí 14. prosince 2015

FLIF - Free Lossless Image Format

Nový formát - FLIF - pro ukládání obrazu s bezeztrátovou kompresí. Kompresní algoritmus umožňuje zmenšovat obrázky jakéhokoli typu lépe než WebP, PNG, JPEG2000 a další formáty. Zajímavá je ambice, že by formát měl usnadnit použití v prostředí reposivního designu na webu.

http://flif.info/

Článek na blogu Gary McGatha https://fileformats.wordpress.com/2015/11/25/flif/#more-1795

pátek 27. listopadu 2015

DPF Manager - otestujte aplikaci pro validaci TIFFu (pro účely dlouhodobého ochrany)

Už jsme tu psali o iniciativě kolem archivní verze TIFFu, kde se připravuje nový ISO standard pro archivní TIFF (http://www.ti-a.org/).  Ve stejné komunitě vznikl také DPF manager (TIFF conformance checker for digital preservation), který si můžete již teď stáhnout a otestovat - viz. http://www.dpfmanager.org/index.htm. S tím souvisí i vývoj nové java knihovny Tiff-Library-4J pro generování TIFFu (https://github.com/EasyinnovaSL/Tiff-Library-4J).

Ve všech případech jsou to komunitní projekty financované z veřejných financí a podporované několika paměťovými institucemi, takže jsou samozřejmě také volně dostupné. Tyto aktivity kolem TIFFu financuje mj. také projekt PREFORMA, kde se pracuje na vytvoření nových validátorů PDF/A -  VeraPDF (http://www.preforma-project.eu/pdfa-conformance-checker.html).

úterý 3. listopadu 2015

Jak na FITS (File Information Tool Set) - návodné video na Youtube

Na Youtube (uživatel Nick Krabbenhoeft) se objevil zajímavý návod na instalaci a použití nástroje FITS. Ten se používá na identifikaci formátů dat a obsahuje několik nástrojů (JHOVE, NZME, TIKA, file, mediainfo aj). FITS je schopen použít tyto nástroje na identifikaci a podat výsledek v jednom XML souboru. S tím se samozřejmě pojí problémy, protože různé nástroje mají mnohdy různý nebo nejednotný výstup a výsledky.
Každopádně, pokud chcete FITS vyzkoušet, vše podstatné naleznete zde https://www.youtube.com/watch?v=ZghGAmdMd18

pondělí 21. září 2015

úterý 21. července 2015

Národní knihovna vypisuje výběrové řízení na pozici specialisty pro formáty obrazových souborů.


Místo výkonu práce: 
Národní knihovna ČR,
Sodomkova  2/1146
102 00 Praha 15 - Hostivař


Požadujeme:
- dobré analytické myšlení, samostatnost,
- VŠ vzdělání (preferujeme knihovnické nebo technické zaměření),
- zájem o problematiku obrazových dat pro digitalizaci (formáty souborů, kontrola kvality, dlouhodobá ochrana digitálních dat apod.),
- znalost angličtiny na úrovni porozumění odbornému textu,
- znalost XML.


pondělí 20. července 2015

Nový PDF/A validátor k dispozici (veraPDF)

Již jsme v minulosti zmiňovali projekt PREFORMA a snahu o vytvoření validátoru pro soubory ve formátu PDF. Nyní byla vydána první verze nástroje - ke stažení zde http://downloads.verapdf.org/rel/veraPDF-library-GUI-0.2.0.zip
Nástroj je schopen validovat PDF/A, tedy "oproti" ISO 19005. Verze, která je k dispozici není kompletní, nedoporučuje se používat v ostrém provozu, jde spíše o proof of concept v současné chvíli. Poznámky k vydání naleznete na https://github.com/veraPDF/veraPDF-library/releases/latest.
A konečně web nástroje - http://verapdf.org/