Dlouhodobé uchovávání digitálních sbírek v Národní knihovně Austrálie - video z přednášky

Nové číslo ITLibu 2/2016 - řada zajímavých článků

Bezpochyby z hlediska dlouhodobého ukládání digitálních dat v paměťových institucích stojí tohle číslo časopisu ITLib za přečtení, je opravdu povedené.

• Pan Bartošek píše o systému Archivematica 
• Velmi zajímavý je článek o prvním roce provozu CDA od týmu paní Žigové a dalších, pan Androvič píše o relativně novém Slovenském projektu archivace web a e-born dokumentů  Digitálně pramene
• Článek Sibyl Schaefer o certfikaci LTP systémů je trochu moc obecný a opakuje mnohokrát řečené
• Také je zde článek o plánech projektu ArcLib řešením z NAKI v knihovnách ČR

Kompletní obsah nového čísla ITLIbu: 

Príhovor /Address
Príhovor /Address
Hlavné články/ Main Articles
Digitálne pramene – webharvesting a archivácia e-Born obsahu / Digital Resources – Webharvesting and E-Born Content Archiving
Projekt ArcLib – budování systému pro dlouhodobou archivaci digitálních dat v českých knihovnách / ArcLib Project: Designing Solution for Long-term Preservation in Czech Libraries
Knihovnícka profesia /Library Profession
Učící knihovník a vzdělávací technologie / The Teaching Librarian and Educational Technology
Uchovávanie dát / Data preservation
Uchovávanie digitálnych objektov a ich súčastí v prostrediach open-source systémov Invenio a DSpace / The Storing of Digital Objects and its Components in the Environment of Open-source Systems Invenio and DSpace
Uchování digitálního dědictví a systém Archivematica / Preservation of Digital Heritage and System Archivematica
The Importance of Establishing National Legislation on “Orphan Works”: Example of Old Doctoral Dissertations
Digitalizácia / Digitalization
Centrálny dátový archív roku 1 / Central Data Archive
Trustworthy Digital Preservation Repositories: an Introduction
Uchovávanie kultúrneho dedičstva / Preserving cultural heritage
Digitálny fond tradičnej ľudovej kultúry / Digital Fund of Traditional Folk Culture
Ochrana knižničných fondov / Collections preservation
Péče o novodobé knihovní fondy v Národní knihovně České republiky – průzkum fyzického stavu /Care about Libraries Collections after 1800 in The National Library of Czech Republic – Physical Conditions Survey
Internet
Public Collections on the Semantic Web in a Hungarian Context
Otvorený prístup/Open Access
Pasteur4OA: Kľúč na otvorenie vedy / Pasteur4OA: Key for Open Science
Podujatia / Events
INFORUM 2016 / INFORUM 2016

Vývoj archivace webu - zajímavý článek z Portugalska

Pánové z portugalského webového archivu napsali pěkný shrnující článek o archivaci webu, jak se tato oblast vyvíjela v různých zemích, s jakými problémy musela a musí bojovat. Stojí za přečtení.

http://sobre.arquivo.pt/about-the-archive/publications-1/the-evolution-of-web-archiving

Kde je dnes Norská národní knihovna?

OPF zveřejnila informaci o tom, že Norská národní knihovna se stala dalším členem konzorcia OPF. Krátké představení činnosti Norské národní knihovny v oblasti dlouhodobého ukládání digitálních dat stojí za ocitování.

Norská národní knihovna shromažďuje všechny typy médií publikované v Norsku, včetně rozhlasových a televizních pořadů, filmů, hudby a norské části Internetu. Během příštích 20-30 let má v plánu zdigitalizovat kompletně všechny své sbírky. Již bylo digitalizováno 90% všech knih publikovaných v Norsku, 30% všech novin a téměř 100% všech rozhlasových programů z největší a nejstarší rozhlasové stanice v Norsku.

V lednu 2016 byl revidován zákon o povinném výtisku,  který umožňuje národní knihovně sklízet celý obsah webu na národní doméně, a zavádí povinný výtisk digitálních předloh všech tištěných publikací. Pro Norskou národní knihovnu je systém pro důvěryhodné uchovávání digitálních dat klíčový; spravuje 5,2 PB unikátních dat,  ročně přibývá 1PB.  Cílem knihovny je uchování těchto dat v horizontu 1000 let. 

Wow!

Archivace webu - https://webrecorder.io/

https://webrecorder.io/

Prototyp zajímavého nástroje, který umí zaznamenat živý web a uložit ho do warcu. Vzniká v projektu financovaném The Andrew W. Mellon Foundation; držitelem grantu je nezisková organizace Rhizome, která se zabývá online uměním, novými medii apod.

https://rhizome.org/editorial/2016/jan/04/webrecorder-mellon/
https://github.com/webrecorder/webrecorder

Proposed W3C Web Archivability Community Group

https://www.w3.org/community/blog/2015/10/08/proposed-group-web-archivability-community-group/

Webarchiv v novém!

Brána do českého Webarchivu vypadá konečně jinak. Starý web nahradil minimalistický responsivní design. Místo obrázku, který se snad ani nedal považovat za logo, nové, opět minimalistické logo, pěkné.

Budoucnost českého webového archivu from Jaroslav Kvasnica

Zajištění kvality archivace webu

New York Art Resources Consortium (NYARC) publikovalo dokumentaci ke svému přístupu

k zajištění kvality webarchivace. Sdružuje sice instituce zaměřené jen na obsahy z oblasti dějin umění atp., tenhle jejich materiál je ale určitě zajímavý jako inspirace pro jakýkoli webarchiv:

http://wiki.nyarc.org/web-archiving/quality-assurance

Článek o tomto počinu je zde:
http://blogs.loc.gov/digitalpreservation/2015/01/web-archive-management-at-nyarc-an-ndsr-project-update/

NDSA - jak a kdo archivuje web v USA?

NDSA zveřejnila zprávu ze sruvey o archivaci webu ve Spojených státech.

Na rozdíl od České Republiky, kde se archivací webu kromě Webarchivu Národní knihovny zabývá jen několik málo institucí a jednotlivců, je v USA praxe mnohem pestřejší.

Odpovědi na dotazník poskytlo téměř 90 institucí, a z výsledků je vidět, že archivace webu je v posledních letech stále populárnější. Nejčastěji se dotazované instituce (odpověděly především veřejné instituce, vládní a státní úřady, z poloviny univerzity) zabývají jak archivací svého vlastního webového sídla tak cizích webů, většina institucí používá externí služby archivace webu, a také data externě archivují. Mezi nejčastěji používané nástroje patří Heritrix, HTTrack.

Podrobnější výsledky jsou na: http://www.digitalpreservation.gov/ndsa/working_groups/documents/NDSA_USWebArchivingSurvey_2013.pdf

Nanite: https://github.com/openplanets/nanite/

Do seznamu nástrojů jsem přidal Nanite: https://github.com/openplanets/nanite/ , který balí DROID a Apache Tika a má sloužit pro identifikaci a charakterizaci větších objemů dat. Kromě standardní command line aplikace je dostupná také aplikace pro Hadoop pro zpracování dat z Webarchivace.

Časová osa světových webových archivů

Webarchivists.org publikoval časovou osu zobrazující přehlednou historii vzniku webových archivů ve světě. Je příjemné vidět, že WebArchiv Národní knihovny ČR patří mezi průkopníky archivace webu.

ARCOMEN: Prototypy nástrojů pro analýzu webových dat ze sociální sítí

EU Projekt ARCOMEN, který se zabývá využitím informací vytěžených ze sociálních webů pro paměťové instituce, zveřejnil první nástroje na Sourceforge.

Projekt se snaží vytvořit nástroje pro využití obsahů sociální medií při selekci a hodnocení dat především při webarchivaci. Pokud vám, jako mě, není moc jasné, o co by asi mohlo jít, nezoufejte a pobavte se s některými demo nástroji, které jsou dostupné online - seznam je zde http://www.arcomem.eu/technology-demos/

Za pokus stojí určitě nástroj na analýzu názorů v textu:
http://demos.gate.ac.uk/arcomem/opinions/

Vyhledávač FOKAS - Formerly Known AS:
http://www.l3s.de/fokas/

Trendy topics modul:
http://fbmya02.barcelonamedia.org/engv2/

Pěkná je ukázka využití nástrojů Gate pro extrakci "named entities" z dat webarchivu:


Entity, event and opinion detection in GATE from Diana Maynard on Vimeo.

Sbírka historického SW od Internet Archive - emulované staré hry a aplikace

Internet Archive má přístupnou sbírku historického SW. Jde o největší sbírku historického SW na světě. Poskytuje okamžitý přístup k milionům programů, CD-ROM obrazů, dokumentaci a multimédiím. Sbírka obsahuje různý materiál, včetně sharewaru, freewaru, zpráv o novém SW, her, preview a reklam na počítačové hry a další. 5000 PC her, 37 přelomových her, tisíce sharewarových CD, emulátory s hrami a aplikacemi, linuxové distribuce, datasety ...

• Výběr toho nejlepšího naleznete na https://archive.org/details/software.
• 37 přelomových her https://archive.org/details/historicalsoftware
• Zahrajte si Pitfall!! na emulátoru přímo ve vašem prohlížeči https://archive.org/details/Pitfall_Activision_1982
• nebo třeba Karateku? https://archive.org/details/Karateka_1984_Broderbund
• nebo se povívejte na textový procesor WordStar 2.2 https://archive.org/stream/wordstar_2.26_osborne1_1981_micropro/os1wrdst.td0?module=osborne1&scale=2

JHOVE2 verze 2.1.0

Byla zveřejněna nová verze JHOVE2:

1. Novinkou je možnost vybrat si nástroj pro identifikaci formátů, dnes má uživatel na výběr mezi DROIDem a unixovým programem File.
2. Byl přidán modul pro zobrazení výsledků, tj, nyní je možné výstup snáze konvertovat pomocí XSLT.
3. Přibyly tři formátové moduly: ARC, WARC, a GZIP

Indikátory kvality pro webové archivy - ISO/DTR 14873

V draftu je k dispozici norma ISO/DTR 14873 Information and documentation — Statistics and Quality Indicators for Web Archiving.

Norma specifikuje, nebo lépe řečeno bude specifikovat, jak se má v oblasti archivace internetu měřit kvalita a velikost sbírky, úspěšnost sklízení, využívání dat, nebo jak se má posuzovat kvalita uložení. Poskytuje tedy v mnoha oblastech metodický návod, jak řídit webarchiv.

Zajímavá je už úvodní část, kde jsou definovány základní termíny z oblasti archivace webu.

Draft je k dispozici online, na serveru IIPC:

http://netpreserve.org/sites/default/files/resources/SO_TR_14873__E__2012-10-02_DRAFT.pdf

Nový blog projektu Pandora

Australská národní knihovna spustila nový blog o svém projektu Pandora, jednom z nejstarších projektů archivace webu na světě.
http://blogs.nla.gov.au/australias-web-archives/

CINCH, alternativní způsob pro harvestování dokumentů z webu?

Státní knihovna Severní Karolíny zveřejnila nástroj, kterému říkají CINCH (Capture INgest CHecksum). CINCH jako vstup přijme seznam URL dokumentů umístěných na webu (PDF, DOC, DOCX, apod.), dokumenty automaticky stáhne, validuje, generuje checksum, extrahuje základní metadata, všechno to zabalí do jednoho balíku, odešle mail o ukončení práce. Částečně řeší duplicity, na úrovni checksumů v rámci dané dávky, na úrovni názvu souboru a url šířeji. Nástroj předpokládá další zpracování, zhodnocení obsahu a popis, a další zpracování při uložení do dlouhodobého repozitáře. 

Motivace k vytvoření CINCHe byla usnadnit zaměstnancům knihovny stahování dokumentů, které jsou online. Nelíbilo se jim, jak se data stahují a ukládají pomocí klasických nástrojů webarchivace, chtěli dát svým zaměstnancům něco jednoduššího. Rozhodně ale takový přístup nemůže nahradit skutečnou archivaci webu.

Není zcela jasné proč jako další microservice nezapojili do workflow také identifikaci a validaci formátů,  FITS například. Asi proto, že je to myšleno jako nástroj pro sklízení velmi hrubých dat, která se budou ještě manuálně zpracovávat a formátové validace proběhnou až před vložením do dlouhodobého archivu.



Jedna stránka s kompletní informací: http://digitalpreservation.ncdcr.gov/asgii/presentations/jcdl2012.pdf
Dokumentace: http://digitalpreservation.ncdcr.gov/asgii/presentations/ala2012.pdf
GitHub: http://slnc-dimp.github.com/Cinch/

WebArchiv a jeho budoucnost - Přednáška

Přednáška Ing. Libora Coufala (NK CR) na téma
"WebArchiv a jeho budoucnost".

Přednáška se uskuteční v pondělí 2. dubna  v rámci cyklu Jinonické
informační pondělky a proběhne v prostorách UISK FF UK v Jinonicích
(ul. U Kříže 8) od 14.00 v místnosti c. 2015. Délka trváni 1,5 hod.

Přednášky  pořádaji UISK a Česká informační společnost, o.s.

D-lib Magazine 3/4

Nové číslo magazínu D-lib je věnováno především archivaci internetu.

A memory of webs past

IEEE spectrum uveřejnilo článek o archivaci webu (včetně hezkého komiksu ve stylu Indiana Jones), který představuje několik členských institucí IIPC.
http://spectrum.ieee.org/telecom/internet/a-memory-of-webs-past/0