Seznam collection management systémů

Ashley Blewer dala dohromady seznam systémů na správu digitálního obsahu. Seznam míchá různé typy systémů (DAM, LTP apod.), i tak ovšem může být pěkným přehledem pro zájemce o implementaci podobného systému.

https://ablwr.github.io/blog/2017/08/09/collection-management-system-collection/

seznam je tady  https://docs.google.com/spreadsheets/d/1cXOug3qM0pNNeD_wssiVEv9c0W1Y5I1VDTnSPTk7fb4/edit#gid=0

Distributed OAIS-based Digital Preservation System with HDFS Technology

Pro některé probíhající projekty u nás by určitě mohl být inspirativní článek z Ruska o architektuře archivu budovaného v souladu s OAIS s využitím HDFS:

http://fruct.org/publications/fruct20/files/Voi.pdf

Distributed OAIS-based Digital Preservation System with HDFS Technology
Nikita Voinov, Pavel Drobintsev, Vsevolod Kotlyarov Peter the Great Saint-Petersburg Polytechnic University Saint-Petersburg, Russia
Igor Nikiforov Dell EMC/Peter the Great Saint-Petersburg Polytechnic University Saint-Petersburg, Russia 

Abstract—The paper describes architecture of a distributed OAIS-based
digital preservation system which uses HDFS as a file storage system
and supports wide distribution on a number of cluster’s nodes. It is
based on Apache Hadoop framework - a reliable open source solution
with well horizontally scalable distributed architecture. Novelty of
the proposed system is defined by the fact that none of existing OAIS
digital preservation systems use HDFS storage for both structured and
unstructured data archiving. Implementation of the system’s prototype
and results of its testing are also shown.

ToMaR - využití Hadoop clusteru pro migraci velkého množství souborů

http://www.openplanetsfoundation.org/blogs/2014-03-14-tomar-how-let-your-preservation-tools-scale

Příspěvek na blogu Open Planets Foundation prakticky ukazuje jak se dají využít nástroje vznikající v projektu SCAPE. Na příkladu formátové migrace ukazuje možnosti využití Hadoop a ToMaR pro hromadné migraci velkého množství souborů. Příspěvek popisuje příklad (asi) fiktivní knihovnice, která potřebuje migrovat několik set tisíc TIFF souborů do formátu JPEG 2000. Tento příklad není zcela teoretický, podobným "cvičením" prošly už naostro např. v Britské knihovně a v mnoha dalších. 

Sbírka historického SW od Internet Archive - emulované staré hry a aplikace

Internet Archive má přístupnou sbírku historického SW. Jde o největší sbírku historického SW na světě. Poskytuje okamžitý přístup k milionům programů, CD-ROM obrazů, dokumentaci a multimédiím. Sbírka obsahuje různý materiál, včetně sharewaru, freewaru, zpráv o novém SW, her, preview a reklam na počítačové hry a další. 5000 PC her, 37 přelomových her, tisíce sharewarových CD, emulátory s hrami a aplikacemi, linuxové distribuce, datasety ...

• Výběr toho nejlepšího naleznete na https://archive.org/details/software.
• 37 přelomových her https://archive.org/details/historicalsoftware
• Zahrajte si Pitfall!! na emulátoru přímo ve vašem prohlížeči https://archive.org/details/Pitfall_Activision_1982
• nebo třeba Karateku? https://archive.org/details/Karateka_1984_Broderbund
• nebo se povívejte na textový procesor WordStar 2.2 https://archive.org/stream/wordstar_2.26_osborne1_1981_micropro/os1wrdst.td0?module=osborne1&scale=2

Preserving.exe - report z konference o dlouhodobé ochraně SW je dostupný online

V květnu 2013 proběhl summit pod názvem “Preserving.exe: Toward a National Strategy for Preserving Software”. Zaměřený byl na výzvy okolo vytváření sbírek a dlouhodobé ochrany softwaru. Tento problém pálí digital preservation komunitu už poměrně dlouho. Každý archiv nebo knihovna, které se digital preservation zabývají, většinou shromažďují staré SW aplikace všemožného druhu ve svých sbírkách, aby bylo možné jej v budoucnu využít. Využít pro zobrazení, převody starých souborů, pro které dnes SW neexistuje. SW by musel být samozřejmě emulován nebo spuštěn na dobovém počítači. Z těchto důvodů se myšlenka na centrální registr či archiv SW se tak čas od času objeví.
Jedním z výstupů Preserving.exe je i report, který si můžete přečíst zde - http://www.digitalpreservation.gov/multimedia/documents/PreservingEXE_report_final101813.pdf.
Doporučuji zvláště článek An Executable Past: The Case for a National Software Registry, který začíná na straně 12.
Prezentace jsou dostupné na tomto URL http://www.digitalpreservation.gov/meetings/preservingsoftware2013.html

Zajímavost - online konverze formátů - ZAMZAR

Dnes jsem narazil na web ZAMZAR, kde je možné provádět online konverze z textových, obrazových, audio, video, CAD, komprimovaných formátů, a také mezi jednotlivými ebook formáty. Rozsah možností je opravdu obrovský. Vyzkoušeno na [doc] > [png] a [doc] > [jpg], konverze proběhla v pořádku. Seznam možných konverzí je tady http://www.zamzar.com/conversionTypes.php.
Po zaregistrování služba ukládá data 7 dní a jsou dostupná přes jednoduchý file manager. Bez registrace dostanete mailem URL, kde si můžete konvertovaný soubor stáhnout.
Důležité je, že služba podporuje i některé netradiční nebo zastaralé formáty. V případě, že máte pár souborů, je to ideální volba, namísto hledání SW, který by vám pomohl v konverzi.

Co vlastně je digital preservation neboli dlouhodobá ochrana digitálních dat? Informační video a Prezi prezentace.

V uplynulých dnes se objevily dva zdroje, které zjednodušenou formou vysvětlují problémy digital preservation a jejich možná řešení. Prvním je krátké video společnosti Tessella o jejich produktu Preservica. Preservica je vlastně long-term preservation systém umístěný v cloudu, který může zákazník využívat formou předplatného, nepotřebuje ani HW infrastrukturu (IaaS), digital preservation je poskytována jako služba (DPaaS). Tento přístup by mohl být řešením i pro mnoho českých (nejen paměťových) institucí. Video je dostupné tady - https://www.youtube.com/watch?v=GH19MwjYLwI.
Druhým zdrojem je Prezi prezentace "Digital Preservation - Why, What and How" Nira Sherwintera z firmy Ex Libris. Prezentace je pěkně srozumitelným úvodem do problematiky digital preservation. Ke shlédnutí, sdílení atd. je tady http://prezi.com/fcgsodjqhbry/digital-preservation-why-what-and-how/#%21.
Z obou uvedených zdrojů je jasné, že pouhé uložení a správa původních (originálních) souborů není dlouhodobá ochrana digitálních dat, je to jen její předpoklad. Uchování bit streamu nezajistí použitelnost, vyhledatelnost, srozumitelnost souborů a jejich obsahu v budoucnu.

Open source pro dlouhodobou ochranu digitálních informací

Na blogu "The Signal Digital Preservation" Kongresové knihovny jsou přehledové články o systémech Archivematica a Islandora. Články jsou psány formou rozhovoru s tvůrci systémů.

Oba tyto systémy jsou navrženy s cílem naplnit požadavky modelu OAIS (ISO 14721) a využívají komponenty dostupné jako svobodný software.

Archivematica je systém, který vznikl spoluprací firmy Artefactual a Vancouverského archivu, podporuje standardy METS, PREMIS, DC a další standardní metadata. Vývoj směřuje k integraci s běžně používanými systémy pro správu digitálního obsahu jako jsou DSpace, ContentDM.
http://blogs.loc.gov/digitalpreservation/2012/10/archivematica-and-the-open-source-mindset-for-digital-preservation-systems/

Islandora používá jádro Fedora Commons repozitáře, CMS Drupal a řadu dalších komponent, například Taverna workflows. Podobně jako Archivematica do workflow zapojuje další nástroje a služby pro validaci a identifikaci formátů, extrakci technických metadat.
http://blogs.loc.gov/digitalpreservation/2013/03/islandoras-open-source-ecosystem-and-digital-preservation-an-interview-with-mark-leggott/

Aby byl seznam open source systémů usilujících o kompletní naplnění požadavků OAIS úplný, měli bychom doplnit ještě systém RODA , případně i DATISS, XENA, HOPPLA, Mopseus.

Kompletní seznam open source nástrojů užitečných pro dlouhodobou archivaci digitálních informací je na webu Open Planets Foundation: http://wiki.opf-labs.org/display/TR/Digital+Preservation+Tool+Registry

Format Corpus

Pánové z Open Planets Foundation a projektu SCAPE tvoří velmi zajímavý korpus /volně dostupný/ digitálních formátů.
Jeho současný obsah vidět na http://www.opf-labs.org/format-corpus/tools/coverage/reports/
Další informace tady: https://github.com/openplanets/format-corpus

Nejde jen o to, že by snad chtěli posbírat co nejvíc zajímavých formátů, ale cílem téhle aktivity je zvýšit počet souborů, které jsou nástroje jako Droid, Tika, File, atd schopny identifikovat. Také chtějí směřovat k vytvoření jednotného workflow pro vytváření file signatures tak, aby nebylo třeba vytvářet signatures pro každý nástroj zvlášť. K tomuto účelu také pracují na nástroji, který má sdílení signatures usnadnit, kterému říkají Fidget.

Více zde:

http://wiki.curatecamp.org/index.php/Collecting_format_ID_test_files
http://wiki.curatecamp.org/index.php/Improving_format_ID_coverage

Vedle zde zmiňovaného "atlasu digitálních poškození" je tohle ještě další pokus vytvořit základní globální infrastrukturu informací o digitálních formátech.

Archivace softwaru: co si přečíst na toto téma

Hezký příspěvek na blogu Kongresové knihovny shromáždil literaturu k problematice dlouhodobé archivace softwaru.
http://blogs.loc.gov/digitalpreservation/2012/11/preserving-exe-a-short-list-of-readings-on-software-preservation/

Nástroje na identifikaci, validaci a extrakci metadat ze souborových formátů

Užitečný seznam nástrojů včetně stručného popisku a klasifikace podle tří kritérií:

• funkce (identifikace, validace, extrakce metadat, oprava chyb)
• způsobu spuštění/typu aplikace (příkazový řádek nebo desktopová aplikace, online aplikace, softwarová knihovna)
• dostupnosti (open source, freeware, zdarma pro určené typy uživatelů, komerční SW)

http://www.garymcgath.com/formatsoftware.html?goback=.gde_126125_member_153733875

Pravěk, aneb kde jsou ta data dnes?

Někdy je dobré se ohlédnout. Doufejme, že za 40 let bude na naši dobu pohled lepší a data z našich dnešních systémů a archivů budou dostupná a použitelná.

K tomu pohledu zpět nám můžou pomoci nejen zahraniční weby a instituce (http://www.vintage-computer.com, http://www.computerhistory.org nebo http://www.oldcomputers.net/) ale také řada zajímavých česky psaných a na lokální informace bohatších zdrojů. Přece jen o SAPO, Uralu, Minsku a TNS se v anglických zdrojích moc nepíše.

Moc hezky udělaný web z jedné diplomky je tady:
http://www.historiepocitacu.cz
Ledacos zajímavého je k viděni tady:
http://www.kormus.cz/mvt/
Dokonce máme u nás i HW muzeum:
http://technodrom.cz/index.html
A další zajímavé odkazy k tomuto tématu:
http://sen.felk.cvut.cz/sen/index_cz.html?historie/gen2.html
http://extrahardware.cnews.cz/historie-pocitacu-i-pocitacovy-pravek a dalších 9 pokračování
http://www.vesmir.cz/clanek/pocatky-pocitacove-techniky-nebyly-jednoduche

Poslední odkaz není na HW, ale přece jen si ho v tomto kontextu nedopustím. Je to bestseller loňského roku, kniha Jamese Gleicka "The Information: A History, A Theory, A Flood."

A trocha atmosféry 80tých let:

Seznam "seznamů" nástrojů na digital preservation/curation

Paul Wheatly dal dohromady neuvěřitelně užitečný seznam různých seznamů a portálů shromažďujících informace o nástrojích na různé procesy digital preservation/curation. Viz http://wiki.opf-labs.org/display/SPR/Digital+Preservation+Tools.

A nebo do cloudu?

K projektu DuraCloud (http://www.duracloud.org/) sada nástrojů:
https://wiki.duraspace.org/display/DURACLOUD/DuraCloud+Downloads

Archivematica 0.7 release

Byla uvolněna nová verze open-source softwaru pro dlouhodobou ochranu digitálních dokumentů Archivematica.

http://archivematica.org/download

Archivematica je systém postavený na microservices, poskytuje prostředí pro zpracování digitálních dokumentů v archivu od ingestu po access podle normy OAIS. Hlavními vylepšeními verze 0.7 jsou například implementace dashboardu pro sledovaní workflow zpracování SIP balíků, redisign architektury, nebo rozšíření podpory na kompletní PREMIS. 

http://archivematica.org/overview

http://archivematica.org/preservation

Další verze by měla být zveřejněna ještě během roku 2011.

Nová publikace - Digital Curation: A How-To-Do-It Manual

Digital curation : a how-to-do-it manual / Ross Harvey. -- New York : Neal-Schuman, 2010. -- xxii, 225 s

Rozšířený obsah: http://www.neal-schuman.net/curation/index.html

„Digital curation is concerned with actively managing data for as long as it continues to be scholarly, scientific, research, administrative, and/or personal interest, with the aims of supporting reproducibility, reuse of, and adding value to that data, managing it from the point of creation until its determined not to be useful, and ensuring its long-term accessibility, preservation, authenticity, and integrity“(str. 8)

Extensible Text Framework

Flexibilní nástroj pro indexování, vyhledávání a zobrazování, který podporuje vyhledávání v heterogenních zdrojích dat a výsledky podává v konfigurovatelném rozhraní. Postaveno v Javě a XSLT 2.0. 
Vyvinula a spravuje California Digital Library. 


http://xtf.cdlib.org/

D-lib 9-10/2010

V posledním čísle D-libu jsou minimálně dva články, které stojí za pozornost: 

• Designing and Implementing Second Generation Digital Preservation Services: A Scalable Model for the Stanford Digital Repository, Tom Cramer, Stanford University Libraries, doi:10.1045/september2010-cramer

Článek shrnuje pětileté zkušenosti Standford Unieversity Library s provozem digitálního repozitáře.   Další vývoj vidí v implementaci modulárního řešení, využití různých volně dostupných služeb (Bag-IT, Curation Micro-Services.) Zajímavé jsou jejich snahy o zjednodušení metadatové modelu, popis zkušeností s METSem.

• A Checklist and a Case for Documenting PREMIS-METS Decisions in a METS Profile, Sally Vermaaten, Statistics New Zealand, doi:10.1045/september2010-vermaaten