Op 1 CD-ROM pas ongeveer 700 MB. Op een (DualLayer) DVD kan je tot 9 gigabyte kwijt. En een BluRay-disc biedt ruimte voor 25 GB. Je computer is waarschijnlijk snel genoeg om van al deze opslagmedia een filmpje te kijken. Maar alle data van zo'n schijfje in een keer lezen en verwerken gaat waarschijnlijk een stapje te ver voor de machine waar je nu achter zit... En als je meer dan vijfduizend camera's elke seconde een foto van de hemel laat nemen heb je een stuk meer data te verwerken dan een gewone computer aan kan!

Heel veel plaatjes

Wie maakt er dan ook zoveel foto's van de lucht? Dat doen ze bij LOFAR, een telescoop die een effectieve grootte heeft van heel Noord-Europa.

LOFAR is een uniek ICT-project dat is ontstaan uit de ambitie van Nederlandse sterrenkundigen om het prille begin van ons Heelal waar te nemen. Daarvoor is een radiotelescoop nodig die honderd maal gevoeliger is dan de huidige telescopen. LOFAR ontwikkelt deze radiotelescoop als een netwerk van duizenden sensoren. Die kleine antennes zijn verdeeld over een gebied met een diameter van 100 kilometer in Nederland en gekoppeld aan een supercomputer via een uitgestrekt glasvezelnetwerk. Daarnaast worden minstens 8 stations met antennes in Duitsland (5), Groot-Brittannië (1), Frankrijk (1) en Zweden (1) gebouwd en aangesloten op het Nederlandse netwerk. Al deze antennes leveren samen gigantische hoeveelheden data: terabytes per seconden die verwerkt moeten worden, een maand kijken kost petabytes aan opslag...

Nieuwe grenzen van ICT

Nooit eerder is een instrument ontwikkeld met capaciteiten voor verwerking van signalen en data op deze schaal. Om überhaupt te kunnen werken moet LOFAR gebruik maken van de cutting edge op het gebied van het verwerken van en het herkennen van patronen in ongekend grote hoeveelheden data, de mogelijkheden om interactief inzicht te krijgen in complexe multi-dimensionale datasets via visualisatie en het efficiënt koppelen van gedistribueerde rekenkracht en dataopslagcapaciteit. Alledrie duidelijke voorbeelden van High Perfomance Computing!

Op dit moment staat bij LOFAR op hun centrale rekencentrum een BlueGene supercomputer (van IBM) , maar die heeft al niet genoeg rekenkracht om de data van de uiteindelijke installatie te kunnen verwerken. Het doel is om real-time uit de grote datasets van alle antennes patronen te kunnen herkennen en op te slaan, en alle overbodige data te comprimeren of weg te gooien.

Op 24 november komt Andre Gunst, projectleider van het LOFAR Technical Team, vertellen over de uitdagingen die het toepassen van zo veel High Performance Computing biedt!