Využití blockchainu v dlouhodobé archivaci?

Na poprvé jsem si říkal, ha, zase další sexy termín, to si někdo vybral jen aby dostal finance na projekt. Možná to ale nebude uplně hloupý nápad, soudě podle paperu z projektu Archangel:   https://arxiv.org/pdf/1804.08342.pdf. 

Další informace o tomhle projektu jsou tady https://blockchain.surrey.ac.uk/projects/archangel.html

Oxford Common File Layout Specification 0.1

Hodně zajímavá aktivita směřující ke specifikaci toho, jak by měla být pro dlouhodobé ukládání strukturována data a metadata na úložišti tak, aby se dala použít v budoucnu v novém repozitáři.

A key goal of OCFL is the rebuildability of a repository from an OCFL storage root without additional information resources. Consequently, a key implementation consideration should be to ensure that OCFL objects contain all the data and metadata required to achieve this. With reference to the OAIS model, this would include all the descriptive, administrative, structural, representation, and preservation metadata relevant to the object.

Draft specifikace je zde: https://ocfl.io/0.1/spec/

138TB na ctvereční palec - atomic memory

Distributed OAIS-based Digital Preservation System with HDFS Technology

Pro některé probíhající projekty u nás by určitě mohl být inspirativní článek z Ruska o architektuře archivu budovaného v souladu s OAIS s využitím HDFS:

http://fruct.org/publications/fruct20/files/Voi.pdf

Distributed OAIS-based Digital Preservation System with HDFS Technology
Nikita Voinov, Pavel Drobintsev, Vsevolod Kotlyarov Peter the Great Saint-Petersburg Polytechnic University Saint-Petersburg, Russia
Igor Nikiforov Dell EMC/Peter the Great Saint-Petersburg Polytechnic University Saint-Petersburg, Russia 

Abstract—The paper describes architecture of a distributed OAIS-based
digital preservation system which uses HDFS as a file storage system
and supports wide distribution on a number of cluster’s nodes. It is
based on Apache Hadoop framework - a reliable open source solution
with well horizontally scalable distributed architecture. Novelty of
the proposed system is defined by the fact that none of existing OAIS
digital preservation systems use HDFS storage for both structured and
unstructured data archiving. Implementation of the system’s prototype
and results of its testing are also shown.

Storage pro dlouhodobou archivaci

Tohle je opravdu moc pěkný článek na blogu Davida Rosenthala.
http://blog.dshr.org/2016/12/the-medium-term-prospects-for-long-term.html

1bit do jednoho atomu holmia

"K praktickému použití je zatím daleko, pro ukládání dat je totiž potřeba řádkovací tunelový mikroskop chlazený tekutým dusíkem a pracující ve vakuu"


http://diit.cz/clanek/prelomova-technologie-ulozi-1-bit-do-1-atomu#utm_source=atom&utm_medium=feed&utm_content=article

PIQL v ČRO

Po úspěchu ve Slovenském rádiu se podařilo PIQLu přesvědčit i Český rozhlas, že tohle je ta správná cesta, jak se zbavit problémů s trvalou archivací digitálního obsahu....

http://www.parabola.cz/zpravicky/27282/cro-pro-archivaci-cennych-zaznamu-vyuzije-technologii-piql/

Digitální archivace v Rogue One: Star Wars Story - Jedi Archives

Nemůžu neupozornit na příspěvek na blogu Preservicy. "How Not to Build a Digital Archive: Lessons from the Dark Side of the Force" komentuje poslední díl filmové ságy Star Wars z hlediska digitální archivace.

Možná si řeknete, že to je jen chytrý marketingový tah. Pokud to přitáhne  pozornost a povede k popularizaci základních principů digitální archivace, tak proč ne:-)

A je k tomu dokonce i webinář, kde si můžeme poslechnout o chybách Jedi Archive více od Jedi Mastera Jona Tilbura...

A teď koukám, že Zdeněk Hruška už to dokonce i přeložil:
http://ltp-portal.mzk.cz/home/Novinky/jaknebudovatdigitalniarchiv-poucenizestarwarsrogueone

Publikace SAA: Digital Preservation Essentials

Docela zajímavě vypadající publikace Americké společnosti archivářů (The Society of American Archivists), asi nebude jednoduché si ji v ČR jako instituce koupit - prodává se jen v jejich e-shopu.

Digital Preservation Essentials

http://saa.archivists.org/store/digital-preservation-essentials/5285/

Edited by Christopher J. Prom & Erin O'Meara & Kate Stratton

Z obsahu: 

Module 12: Preserving Digital Objects
Module 13: Digital Preservation Storage

Atomic data storage - průlomový výzkum na Univerzitě v Delft

Možná spíš než DNA by to mohlo jít jinak - každý bit jeden atom? Wow...no  zatím jsme na 1KB, držme jim palce...

http://www.spiegel.de/netzwelt/gadgets/forscher-entwickeln-superlangsamen-superspeicher-a-1103458.html

Veškerá data Internetu do krabice od bot - DNA storage po Xté

Zhruba tak jednou ročně tady v posledních letech píšeme o pokusech s kódováním dat do DNA. K praktické implementaci to sice zatím nesměřuje, ale něco se děje.

Vloni se do DNA na Harvardu kódoval film a 20 milionů kopií knihy, letos s velkou pompou tvrdí Microsoft, že pokořil rekord, a do DNA vlákna uložil 200 MB dat.

Více na blogu Microsoftu.

Prezentace z Pasigu 2016 v Praze jsou online

https://library.stanford.edu/projects/preservation-and-archiving-special-interest-group/international-meetings/march-2016-prague

Archivace pomocí laserové tiskárny, papiru a QR kódu?

Po určité debatě přidávám odkaz na český projekt - kodek, který umí digitální data převést do 2D vizuálního kódu. Ten pak lze vytisknout na papír nebo film, a po naskenování znovu dekódovat.

http://ronja.twibright.com/optar/

Podobných věcí existuje víc, komerčně nabízená řešení obvykle využívají filmový materiál - jako například piql, o které jsme už kdysi psali i na tomto blogu.

OPTAR je velmi daleko od nějakého reálného archivačního nasazení, datová hustota toho média není moc velká (A4=200kb), ale je to pěkný příklad toho, kam všude může bádání o nových způsobech ukládání dat dojít - nejen k biologickému materiálu nebo krystalům křemíku, ale třeba i zpět k papíru, tiskárně a skeneru.

Statistiky spolehlivosti pevných disků v roce 2015

Datové centrum Backblaze.com zpřístupňuje informace z monitorování pevných disků, na kterých ukládá data zákazníků (65PB).

• Článek shrnující spolehlivost disků různých velikostí od jednotlivých výrobců z února 2016: https://www.backblaze.com/blog/hard-drive-reliability-q4-2015/

• Zdrojová data ke stažení: https://www.backblaze.com/hard-drive-test-data.html

5D storage - pokračování

Ačkoli je technologie 5D storage známá od roku 1996 teprve v roce 2013 na Univerzitě v Southamptonu uskutečnili první pokusy s ukládáním a čtením dat (psali jsme zde).

Začátkem letošního roku proběhl po webu šum o téhle technologii znovu, především v souvislosti s prezentacemi této technologie v UNESCO a na konferenci SPIE v San Franciscu,  kde tvůrci hledají další zájemci a finance na další vývoj.

Film kódovaný do DNA

Další pokus zakódovat větší objem dat do biologického materiálu právě probíhá:
http://www.dailynews.com/science/20150810/this-harvard-scientist-is-coding-an-entire-movie-onto-dna

DMPonline - nástroj na vytváření Data management plánů - DPC a JISC

Již v loňském roce vytvořily britské organizace DPC a JISC jednoduchý online nástroj na tvorbu a správu tzv. Data management plánů. Je to výborný nástroj použitelný v jakékoliv instituci, která vytváří a/nebo spravuje digitální data. Je potřeba se pouze zaregistrovat, nástroj si poté pamatuje plány, které jste vytvořili atd.
Co je to Data management plán? Jde o dokument, který si organizace vytváří pro svá digitální data. Může to být pro sbírku, pro data z konkrétního projektu, data od konkrétního původce. Plán pak obsahuje veškeré údaje, které o datech máme - jak vznikají, jak jsou přebírána, jak a kde jsou ukládána, stupeň ochrany atd atd. Dokument tohoto typu zabrání nejasnostem, poskytne přehled i pro nově příchozí kolegy, může pomoci v plánování a to velmi podstatně - kolik bude potřeba místa na úložišti? Kolik to bude stát? Budeme sbírku X a data od organizace Y ukládat na discích nebo na páskách? Právě z tohoto důvodu musí Data management plán vzniknout již na začátku, tedy před vznikem projektu, před vytvářením nebo přebráním dat. Dokument by to měl být závazný a tedy podepsaný manažerem organizace.
https://dmponline.dcc.ac.uk/ 

5D paměť využívající křemíkový krystal

Vědci na Univerzitě v Southamptonu oznámili průlom ve vývoji optických paměťových médií.

Demonstrovaná technologie využívá ultra rychlý laser, který data ukládá do "samouspořádné nanostruktury" v taveném křemeni. Data jsou uložena ve třech vrstvách v nanostrukturovaných bodech, které jsou od sebe vzdáleny pět mikrometrů.

Tato technologie, poprvé navržená již v roce 1996, by mohla zajistit uložení obrovských objemů dat miliony let. Oznámení mluví o 360TB na disk a odolnosti proti teplotám až 1000°C.

Podrobněji v abstraktu a na webu univerzity:
http://www.orc.soton.ac.uk/5dopticalstore.html
http://www.orc.soton.ac.uk/fileadmin/downloads/5D_Data_Storage_by_Ultrafast_Laser_Nanostructuring_in_Glass.pdf

Ještě ohledně tech 5D: jako čtvrtý a pátý rozměr se používají dva "dvojlomové" parametry: "pomalá orientace osy" a "síla retardace":-)

Preservica jako služba v G-Cloud

Systém pro dlouhodobou archivaci od firmy Tessella, využívající Amazon cloud storage, byl zařazen mezi služby G-Cloudu, což je britský program na podporu využívaní cloudových služeb ve veřejném sektoru.

Informace o programu Cloud Store: http://govstore.service.gov.uk/cloudstore/
Preservica na Cloud Store: http://govstore.service.gov.uk/cloudstore/preservica
Tisková zpráva: http://www.prweb.com/releases/2013/6/prweb10784989.htm

Podrobnosti o nabízené službě obsahují také informaci o cenách:
http://assets-production.govstore.service.gov.uk/Giii%20Attachments/TESSELLA%20Limited/Bids/Service%20Definition%20for%20Preservica.pdf

Best practices for a digital storage infrastructure for the long-term preservation of digital files

V projektu "Digitizing Contemporary Art" vznikla moc pěkná přehledová studie o technologiích ukládání dat a médiích.
http://www.digitisingcontemporaryart.eu/images/uploads/banners/DCA_D62_Best_practices_for_a_digital_storage_infrastructure_20130506_Version1.pdf
Vysvětluje vždy stručně principy fungování jednotlivých technologií a shrnuje doporučení při používání každé z nich, rozebírá výhody a nevýhody každé technologie. V závěru je i cenové srovnání a doporučený, jak storage technologii vybírat...