Heftige hardware voor serieuze aanpak big data

0
34
Hewlett Packard heeft gisteren de grootste single-memory computer ter wereld getoond, die onderdeel uitmaakt van de omvangrijkste R&D die het bedrijf ooit heeft opgezet: The Machine, dat onderzoek doet naar de ontwikkeling van memory-driven computing, een compleet nieuwe architectuur voor het big data-tijdperk.

Memory-driven computing zet het geheugen – en dus niet de processor – centraal in de architectuur. Door de inefficiëntie van de interactie tussen geheugen, storage en processors in traditionele systemen te elimineren, bespaart de metode de benodigde tijd om complexe problemen te verwerken, waardoor realtime-intelligence mogelijk wordt.

Het vandaag onthulde prototype bevat 160 terabyte geheugen en kan gelijktijdig werken met data uit omgerekend ongeveer 160 miljoen boeken: acht keer zo veel als alle boeken uit de Amerikaanse Library of Congress. Complete datasets van dit formaat in een single-memory system bewaren en bewerken was tot voor kort onmogelijk.

Op basis van de het huidige systeem verwacht HPE de architectuur eenvoudig te kunnen schalen naar een single-memory system op exabyteschaal en in later stadium naar een vrijwel oneindige bron van geheugen: 4.096 yottabytes. Dit is 250.000 keer meer dan het complete digitale universum op dit moment.

Met deze hoeveelheid geheugen is het mogelijk om op hetzelfde moment met ieder digitaal medisch dossier op aarde, alle data van Facebook, iedere rit van de zelfrijdende auto’s van Google en iedere dataset uit ruimteonderzoek te werken. Dit brengt nieuwe mogelijkheden en antwoorden op uitzonderlijk tempo aan het licht.

“Wij geloven dat de technologie-industrie met memory-driven computing voor vooruitgang kan zorgen in alle aspecten van de samenleving”, aldus Mark Potter, CTO bij HPE en directeur van Hewlett Packard Labs. “De ontwikkelde architectuur kan op elke computercategorie worden toegepast, van apparaten op ‘the intelligent edge’ (de rand van het netwerk) tot supercomputers.”

“De volgende grote wetenschappelijke doorbraak, de innovaties die de IT veranderen en de technologie die levens gaat veranderen, liggen verscholen in de enorme hoeveelheden data die we dagelijks creëren”, aldus Meg Whitman, CEO van Hewlett Packard Enterprise. “Om deze innovaties mogelijk te maken, kunnen we niet blijven leunen op technologieën uit het verleden. We hebben een computer nodig voor het Big Data-tijdperk.”

Technische specificaties
Het nieuwe prototype bouwt voort op de resultaten van het onderzoeksproject van The Machine, waaronder:

  • 160 TB shared memory, verspreid over 40 fysieke nodes, met elkaar verbonden door een high-performance fabric protocol.
  • Een geoptimaliseerd op Linux gebaseerd besturingssysteem (OS) dat draait op Thunder X2 van Cavium.
  • Photonics/Optical communication links zijn online en operationeel, inclusief de nieuwe X1 photonics module.
  • Software-programmerings-tools om alles te halen uit grote hoeveelheden persistent memory.