Ocalić internet przed zapomnieniem – jak działają cyfrowe archiwa?
W sieci każdego dnia giną strony, artykuły, zdjęcia i całe serwisy. Czasem z powodu wygaszenia domeny, czasem przez decyzję właściciela, a czasem wskutek zmian technologicznych, które uniemożliwiają odczytanie starych formatów. Cyfrowe archiwa internetowe powstały po to, by ratować te zasoby przed nieuchronnym zniknięciem. Ale jak właściwie działa ten mechanizm? Jakie technologie stoją za procesem archiwizacji, i dlaczego – mimo postępu – wciąż nie jesteśmy w stanie zapisać wszystkiego?
Początki działalności takich projektów jak Internet Archive sięgają lat 90. Wtedy jeszcze nikt nie myślał, że problem znikających stron stanie się aż tak poważny. Dziś archiwiści muszą mierzyć się z gigantycznymi wolumenami danych, zmiennymi standardami i coraz bardziej wyrafinowanymi zabezpieczeniami przed kopiowaniem. To nie tylko kwestia robotów indeksujących, ale całego ekosystemu narzędzi – od formatów kompresji po zaawansowane systemy wyszukiwania.
Narzędzia do zbierania i przechowywania danych
Podstawowym narzędziem w procesie archiwizacji są tzw. crawlers, czyli programy automatycznie przeszukujące i pobierające strony WWW. Najbardziej znany to Heritrix, używany przez Internet Archive. Działa na podobnej zasadzie co boty wyszukiwarek, ale z większą dbałością o zachowanie struktury i pełnej zawartości. Zapisuje nie tylko tekst, lecz także style CSS, skrypty JavaScript, a nawet multimedia. Problem w tym, że niektóre strony celowo blokują crawlerów – np. przez pliki robots.txt lub mechanizmy wykrywania nietypowego ruchu.
Do przechowywania danych stosuje się różne formaty. Najpopularniejszy to WARC (Web ARChive), otwarty standard stworzony specjalnie na potrzeby archiwizacji. Łączy w sobie zasoby strony (HTML, obrazy itd.) z metadanymi, takimi jak data pobrania czy nagłówki HTTP. To ważne, bo czasem kontekst jest równie istotny co sama treść. WARC-y można później kompresować, żeby zaoszczędzić miejsce – Internet Archive ma już ponad 50 petabajtów takich danych!
Indeksowanie i wyszukiwanie – wyzwania na ogromną skalę
Zebranie danych to dopiero połowa sukcesu. Drugie tyle pracy wymaga umożliwienie późniejszego wyszukiwania po tych zbiorach. Tutaj pojawiają się kolejne technologie – bazy danych NoSQL (np. Cassandra), które radzą sobie z nierelacyjnymi strukturami, oraz systemy full-text search jak Elasticsearch. Problem w tym, że niektóre formaty plików (np. stare Flash czy PDF-y z tekstem jako obrazkiem) są trudne do indeksowania. Czasem potrzebne jest specjalne OCR albo ręczna ingerencja.
Do tego dochodzi kwestia metadanych – informacji o tym, co właściwie zostało zapisane. Bez nich archiwa byłyby tylko magazynem losowych plików. Standardy takie jak METS (Metadata Encoding and Transmission Standard) czy Dublin Core pomagają w katalogowaniu, ale nie wszyscy twórcy stron dbają o dodawanie sensownych opisów. Albo – co gorsza – używają zamkniętych systemów CMS, które generują URL-e z dynamicznymi parametrami, praktycznie uniemożliwiając archiwizację.
Granice technologii – czego jeszcze nie potrafimy zapisać?
Mimo zaawansowanych rozwiązań, niektóre rzeczy wciąż wymykają się archiwizacji. Interaktywne aplikacje webowe oparte na WebSockets czy API często nie działają po pobraniu, bo wymagają połączenia z serwerem. Streaming na żywo? Zapomnij. Gry przeglądarkowe? Tylko jeśli nie korzystają z niestandardowych pluginów. Nawet proste strony mogą sprawiać problemy, jeśli używają skomplikowanych zabezpieczeń przed botami albo ładowania treści przez JavaScript (tzw. lazy loading).
Jest też problem prawny i etyczny – nie wszystko wolno archiwizować. Prywatne profile w mediach społecznościowych, płatne serwisy z subskrypcją, materiały objęte prawami autorskimi… Tutaj nawet najlepsza technologia nie pomoże. Projekty takie jak Archive Team czasem działają na granicy regulaminów, ale ich możliwości są ograniczone. W efekcie powstają luki, które z czasem mogą przekształcić się w czarne dziury naszej cyfrowej historii.
Może więc powinniśmy zacząć myśleć o archiwizacji już na etapie projektowania stron? Choćby dodając semantyczne znaczniki HTML czy unikając nadmiaru dynamicznych elementów. Bo technologia to tylko narzędzie – najważniejsze jest, byśmy jako użytkownicy internetu zrozumieli, że niektóre treści warto zachować. Nie tylko dla nas, ale dla tych, którzy przyjdą po nas.
