čtvrtek 8. června 2017

Oficiální certifikace podle ISO 16363 - první oficiálně akredirovaný poskytovatel?

PTAB získala jako první oficální akreditaci k vykonávání auditu podle normy ISO 16363:

 http://www.iso16363.org/ptab-accredited-for-iso-16363-audit-and-certification/.

Trochu me překvapuje, že odkazují na Register of Certification Bodies of National Accreditation Board for Certification Bodies (NABCB), což je indická instituce a nikoli americká nebo britská, PTAB sídlí ve Velké Británii, takže proč ne UKAS? ..No, kdoví, jak to s tou akreditací je.

středa 24. května 2017

Distributed OAIS-based Digital Preservation System with HDFS Technology

Pro některé probíhající projekty u nás by určitě mohl být inspirativní článek z Ruska o architektuře archivu budovaného v souladu s OAIS s využitím HDFS:

http://fruct.org/publications/fruct20/files/Voi.pdf

Distributed OAIS-based Digital Preservation System with HDFS Technology
Nikita Voinov, Pavel Drobintsev, Vsevolod Kotlyarov Peter the Great Saint-Petersburg Polytechnic University Saint-Petersburg, Russia
Igor Nikiforov Dell EMC/Peter the Great Saint-Petersburg Polytechnic University Saint-Petersburg, Russia 

Abstract—The paper describes architecture of a distributed OAIS-based
digital preservation system which uses HDFS as a file storage system
and supports wide distribution on a number of cluster’s nodes. It is
based on Apache Hadoop framework - a reliable open source solution
with well horizontally scalable distributed architecture. Novelty of
the proposed system is defined by the fact that none of existing OAIS
digital preservation systems use HDFS storage for both structured and
unstructured data archiving. Implementation of the system’s prototype
and results of its testing are also shown.

úterý 25. dubna 2017

Archivace IETF/ISOC RFC - konec papíru....

Možná byste čekali, že zrovna tenhle typ materiálu (RFC) ani nikdy papírovou dobou neprošel, ale ouha. Teprve nedávno vydaná RFC 81533 - Digital Preservation Considerations for the RFC Series s papírem definitivně končí.

RFC editor ma zjevně zkušenosti se ztrátami dat (In the past, nearly 800 RFCs had to be manually transcribed from paper back to electronic format due to a failed server migration and insufficient backups), a teď se chce obejit úplně bez papíru.

Dokument stojí za přečtení celý, ale zde uvedu jen:

For most of the existence of the RFC Series, the digital preservation process has been fairly simple, focusing on bitstream preservation and relying on paper copies of digital files. 
...
Given the need to balance cost and complexity with retention of information for historic, legal, and informational purposes, preservation efforts should focus on the XML canonical format files, the PDF/A-3 format files, the xml2rfc tool and its documentation, and at least two PDF reader applications capable of extracting the embedded XML. Care should be taken that the software being included in this archive has a provision for free copies for backup or archival purposes. All other formats and the overall computing environment should be stored as described in "best effort" data retention (Section 2.4.1), which should in turn be described in the appropriate vendor contract for the RFC Publisher. 

https://www.rfc-editor.org/rfc/pdfrfc/rfc8153.txt.pdf

středa 29. března 2017

Národní digitální archiv – příležitost nebo hrozba pro specializované archivy?

Ve středu 29. března 2017 od 10 do 12:30 hod se v kinosále NA konala akce nazvaná docela vtipně "Národní digitální archiv – příležitost nebo hrozba pro specializované archivy?"

Po prezentacích pánů z Národního digitálního archivu představily svoje projekty v oblasti elektronických dokumentů čtyři specializované archivy (UK, ČRO, ČTV, NFA)

Zdaleka nejzajímavější pro mě byly úvodní prezentace o stavu projektu NDA a Národním archivním portálu. Prezentace, které by měly zaznít v podobném rozsahu i na konferenci ISSS 2017 přístí týden přednesli pan Bernas (Současný stav a střednědobá perspektiva Národního digitálního archivu) a Stodůlka (Výběr archiválií prostřednictvím Národního archivního portálu) a doplnila je informace o nové verzi standardu NSESSS od pana Kunta (Informace o novele národního standardu elektronických systémů spisové služby)

Z prezentace pana Bernase jsme se mimo jiné dozvěděli, že v ostrém prostředí Národního digitálního archivu jsou dnes uložena data z 9 skartačních řízení (5 přejímek). Řešení NDA je složeno ze systému Archivematica a modulů vyvinutých kolem. Prezentace obsahovala i praktické reflexe z provozu NDA od roku 2015:
  • Největším kamenem úrazu jsou SIP balíčky, jejich kvalita. 
  • Proto NDA poskytuje validátory SIP a PDF/A. 
  • V současnosti systémy NDA nejsou moc robustní a bude se na nich pracovat dále v projektu NDA II. Moduly vyvinuté vlastními silami NA budou dále upraveny dodavatelem. 
  • Byla zmíněna potřeba sladit aplikační rozhraní jednotlivých modulů, webové služby. Systém je záměrně budován z menších částí, aby se lépe udržoval, ale to předpokládá koordinaci rozhraní. 
  • Strojové rozhraní bude mít i modul přístup. 
  • V rámci NDA II budou vylepšeny možnosti autentizace. 
  • Skartační řízení - dlouhodobým cílem je zjednodušení procesů. 
  • Bezpečnost je pro NDA velmi důležitá, produkční systém je fyzicky oddělený, NDA je významný informační systémy ve smyslu zákona o kybernetické bezpečnosti, bude auditován z hlediska informační bezpečnosti (vedle ISO 16363 a dalších) .
Provozní zkušenosti:
  • kolísavá kvalita SIPů, chyby 
  •  chyby v zachycení struktury spisu a ve spisovém plánu, při tvorbě SIPu 
  • dokumenty předstírající něco, co nejsou (doc tváři se jako pdf/a) 
  • formální plnění - jen proto, aby tam něco bylo - například mimetype 
  • chybějící údaje od původce - které jistě původce zná (název, ičo) 
  • deklarace nepotřebných názvových prostorů 
  • NDA neposkytuje template pro SIP – vstupy jsou variabilní – možnosti plnění jsou velké, ale původci stejně dělají chyby 
V celém tom povídání o SIPech se nějak ztratilo, že předmětem ochrany OAIS archivu je balíček AIP – o tom jak vypadá AIP NDA jsme se nedozvěděli nic, tak snad se to dozvědí alespoň auditoři, kteří budou hodnotit soulad NDA s ISO 16363... 

Archiv na národní úrovni, který chce působit jako důvěryhodný, by měl zcela transparentně komunikovat o svých postupech zajištění dlouhodobého uchovávání (a ne jen říct, že se něco někam migruje) a o tom, jak vypadá jeho AIP.
Přitom NDA tak trochu odrazuje zájemce z dalších archivů od budování vlastního digitálního archivu (tj. archivu s oprávněním ukládat digitální data ve smyslu zákona), říkají:
  • nemá smysl budovat digitální archiv za každou cenu, z prestižních důvodu, jen proto, abychom ho měli! 
  • soustředit se raději na spisovou službu a uložit data v NDA 
  • postupy LTP vyzkoušet nejprve na digitalizátech 
  • teprve až když jsou zkušenosti přejit k digitální archivaci - menší riziko
V další prezentaci pan Stodůlka shrnul funkce národního archivního portálu v oblasti předarchivního zpracování,  příjmu a skartace. Zajímavá byla informace, že ve státních archivech bylo k dnešku proškoleno k používání portálu 100 lidí (online + prezenční školení) a Národní archiv také vyškolil pro jednotlivé regiony metodiky pro digitální archivací, kteří jsou k dispozici i specializovaným archivům.

úterý 28. března 2017

Dokument "Understanding PREMIS" v nové updatované verzi

Známý úvod do metadatového formátu PREMIS od Priscilly Caplan byl vydán v nové aktualizované verzi. Nová verze reflektuje poslední změny a úpravy PREMISu. Originální verze dokumentu vznikla v roce 2009, aktualizace tedy již byla nutná.

Dostupné na

středa 22. března 2017

Uvolněná nová verze JHOVE - 1.16

OPF (Open Preservation Foundation) vydalo novou verzi open source identifikátoru formátů JHOVE 1.16, podrobnější informace v tiskové zprávě.

Nová verze kromě oprav nabízí i lepší zpracování souborů v PDF a WAV modulech. V British Library byl JHOVE pro validaci PDF otestován, zde jsou výsledky.

pátek 17. března 2017

Archivematica 1.6

https://groups.google.com/forum/#!msg/archivematica/AVP4ARbomA4/SbaGxXaGBgAJ

Novinky: Appraisal/Arrangement tab, ArchivesSpace integration, Improvements to transfer backlog management,Full AIP re-ingest and AIP re-ingest improvements, DIP upload to AtoM improvements, Support multiple checksum algorithms, a další...

Guetzli: Perceptually Guided JPEG Encoder

https://arxiv.org/pdf/1703.04421.pdf

Guetzli: Perceptually Guided JPEG Encoder
J. Alakuijala, R. Obryk∗ , O. Stoliarchuk, Z. Szabadka, L. Vandevenne, and J. Wassenberg
Google Research Europe
March 14, 2017

Guetzli is a new JPEG encoder that aims to produce visually indistinguishable images at a lower bit-rate than other common JPEG encoders. It optimizes both the JPEG global quantization tables and the DCT coefficient values in each JPEG block using a closed-loop optimizer. Guetzli uses Butteraugli [1], our perceptual distance metric, as the source of feedback in its optimization process. We reach a 29-45% reduction in data size for a given perceptual distance, according to Butteraugli, in comparison to other compressors we tried. Guetzli’s computation is currently extremely slow, which limits its applicability to compressing static content and serving as a proof- of-concept that we can achieve significant reductions in size by combining advanced psychovisual models with lossy compression techniques

Storage pro dlouhodobou archivaci

Tohle je opravdu moc pěkný článek na blogu Davida Rosenthala.
http://blog.dshr.org/2016/12/the-medium-term-prospects-for-long-term.html

čtvrtek 16. března 2017

úterý 21. února 2017

Přednáška "Digitální sbírky a jejich dlouhodobé uchovávání v Národní knihovně Austrálie"

Digitální sbírky a jejich dlouhodobé uchovávání v Národní knihovně Austrálie

Registrační formulář na přednášku Libora Coufala.
https://goo.gl/forms/13EBnUjWlf2Q3WUB3

Pořadatel: Česká informační společnost, z. s.
Termín: 22.3.2017, 13:00 - 16:30 hodin
Místo konání: Český svaz vědeckotechnických společností z.s., Novotného lávka 5110 00 Praha 1, učebna 2017

Původně vystudovaný finančník, Libor Coufal je knihovnický "mutant". Knihovnickou dráhu započal ve Fisherově knihovně na University of Sydney. Poté působil v Národní knihovně ČR na oddělení elektronických informačních zdrojů, později přejmenované na oddělení archivace webu, které od roku 2008 vedl. Od roku 2012 pracuje v Národní knihovně Austrálie, kde v současnosti řídí oddělení dlouhodobého digitálního uchovávání.

Program
13:00 - 14:30  Národní knihovna Austrálie v digitálním světě (fondy, služby a projekty), diskuse
14:30 - 15:00  Přestávka s malým občerstvením
15:00 - 16:30  Digitální uchovávání "vzhůru nohama", diskuse

úterý 14. února 2017

PIQL v ČRO - technologie spolehlivejší než digitální nosiče?

Záznam debaty o archivaci v Českem rozhlasu. Každý může posoudit sám, jestli je tohle přístup vhodný pro disaster recovery pro data jeho instituce. PIQL řeší problém s uchováváním digitálních dat odsunutím na trvalé médium, které ukládá na proprietární typ filmového pásu, zapisuje a čte na proprietárním zařízení, v binární podobě.

Vytvoření věčné kopie digitálních dat, trvalého digitálního objektu, bohužel není cesta pro všechny typy archivů. Neměli bychom podlehnout iluzi, že tohle je řešení pro všechny typy dat a institucí - řada institucí potřebuje nástroje pro efektivní správu dat a metadat, pro aktivní ochranu. Musí zajistit trvalou dostupnost dat uživatelům v novém technologickém prostředí; uživatelům, kteří mají nové potřeby a očekávání, kteří potřebují metadata, identifikátory a formáty použitelné v aktuálním technickém a informačním kontextu. Proto existují srandardy jako OAIS a ISO 16363, které popisují obrysy takových řešení. Tzv. longterm preservation systémy (LTP) toho musí obsahovat mnohem více, než jen storage. Nikdo nečeká, že nějaké konkrétní LTP řešení bude existovat navždy - naopak je žadoucí, aby se LTP systémy měnily spolu s technologiemi kolem, archivní balíčky se aktivně kontrolují a migrují do nových formátů, obohacují se jejich metadata a migrují se formáty. PIQL není reprezentantem aktivního přístupu k digital preservation, nezajistí, že budete mít svá data uspořádáná, dobře popsaná, validní, a použitelná v technickém a informačním kontextu uživatelů za 100 let.




úterý 7. února 2017

Archivace videoartu v České republice?

Trvalé uchovávání videoartu, nových medií nebo řekněme audiovizuálního umění asi není nic snadného. Na serveru artalk.cz je zajímavý rozhovor se Slávou Sobotovičovou http://artalk.cz/2016/06/03/videoart-zabava-pro-excentriky/ o archivech videoartu v České republice.
Především se mluví o archivu Vědecko-výzkumného pracoviště AVU (http://vvp.avu.cz/videoarchiv/), jsou zmíněny i další lokální projekty jako Mediabáze FAMU (http://mediabaze.cz/) nebo Media Archive FaVU VUT Brno (http://media-archiv.ffa.vutbr.cz/index.php). 

Bohužel z toho nemám pocit, že by u nás v téhle komunitě byl velký zájem o trvalé uchovávání tohoto obsahu, o logickou ochranu a archivaci ve smyslu ISO 14721 nebo ISO 16363 atp. Snad jen na FAMU se tohle téma trochu řeší. V rozhovoru se mluví o normalizaci souborových formátů a digitalizaci, ale na webech archivů žádné metodiky popsány nejsou, ani nevidím žádné popisy formátových politik, metadatové standardy, žádné pokusy o DSA apod. "Archivy" jsou  zaměřené spíš na zpřístupňování - streamů nebo metadat. 

I v téhle oblasti také vznikají standardy pro metadata jako Media Art Notation System (MANS) nebo se používají standardy vytvořené jinde jako DIDL. 

Archivací "New Media Art" se ve světě zabývá už poměrně hodně institucí (seznam v EU http://www.newmediaart.eu/), například Netherlands Media Art Institute (http://nimk.nl/eng/preservation/media-art-preservation-links), Electronic Arts Intermix (EAI) (https://www.eai.org/), ZKM v Německu (http://zkm.de/en/topic/conservation-of-media-art), ADA (http://www.virtualart.at/nc/home.html). Sbírky videoartu a nových médií mají i některé další knihovny nebo archivy jako Corrnell uni, Getty archives a další. 



pondělí 6. února 2017

Archivace soukromých digitálních dat se zaměřením na fotografie a videa

Richard Wright sepsal "Case NotePersonal Digital PreservationPhotographs and Video",  kde vysvětluje, jak on osobně čelí rostoucím objemům soukromých digitálních dat jako soukromý archivář.

V posledních letech vyprodukoval jeho život desítky tisíc rodinných a soukromých fotografií a videí. Richard ví o ca 55 000  fotografiích, které jsou všude možně - na některém z jeho 4 počítačů a laptopů, mobilním telefonu, ve foťácích, kamerách, na některém ze tří počítačů partnerky, na domácím NASu nebo některém z cca sedmi USB úložištích, další jsou na Dropboxu, Amazon Photos, Googlu a Microsoft drive, další materiál je v jeho profilech na sociálních sítích, na blozích atd. Všechno pod názvy, které generují fotoaparáty nebo software, ve formátech skrývajících se za MPEG kontejnery, nebo v proprietárních formátech, v RAW, a to bez velké kontroly, bez systematických záloh, bez katalogu.

Tohle všechno zná asi každý. Richard jako archivář svého soukromého archivu doporučuje:

  1. deduplikovat (http://www.joerg-rosenthal.com/en/antitwin/
  2. vytvořit si seznam, katalog všech sbírek (asi ne úroveň každého souboru, ale v rozumné míře) -inspirovat se http://preservationweek.wixsite.com/personalarchiving nebo zvážit použití něčeho jako http://www.resourcespace.com/get tam kde se používají cloudová služby, inspirovat se http://www.cdwinder.de/http://www.cdfinder.de/en/info.html nebo jako Richard investovat do http://www.wincatalog.com/
  3. omezit počet použitých formátů
  4. zálohovat a udržovat zálohy, pokud možno automaticky (třeba s využitím https://www.microsoft.com/en-gb/download/details.aspx?id=15155https://fastglacier.com/ )
  5. kontrolovat, že jsou zálohy a data nepoškozené (fixity check, třeba s použitím https://www.avpreserve.com/tools/fixity/ nebo http://www.md5summer.org/ apod.)
Pokud máte nápady na další užitečné nástroje a služby, můžete je sdílet v komentářích:-)

pátek 27. ledna 2017

PIQL v ČRO

Po úspěchu ve Slovenském rádiu se podařilo PIQLu přesvědčit i Český rozhlas, že tohle je ta správná cesta, jak se zbavit problémů s trvalou archivací digitálního obsahu....

http://www.parabola.cz/zpravicky/27282/cro-pro-archivaci-cennych-zaznamu-vyuzije-technologii-piql/