Moving HPC to the Cloud
By Douglas Eadline
In the coming years, the cloud computing market is easily expected to exceed US$ 100 billion. Many organizations have found using the cloud has a clear advantage over in-house hardware. Indeed, shifting what was a capital expense to an operational expense has many advantages, including instant availability and the ability to scale up (and down) rapidly.
W najbliższych latach, na rynku cloud computing jest łatwo przekroczą 100 mld USD. Wiele organizacji znaleźć za pomocą chmura ma wyraźną przewagę nad in-house sprzętu. Rzeczywiście, przenosząc co koszt kapitału do kosztów operacyjnych ma wiele zalet, w tym natychmiastowej dostępności i możliwość skalowania w górę (lub w dół) szybko.
The advantage of pay-as-you-go computing has been an industry goal for many years. In HPC, the Globus project has shown the power of grid-based computing and has spawned many successful production computation grids. Cloud computing takes grid computing to a whole new level by using virtualization to encapsulate an operating system (OS) instance. Users can construct their own operating system instance and run it in a cloud whenever they need computational resources. In addition to cloud computing, cloud storage also can be used independently or combined with OS instances.
Zaletą pay-as-you-go computing było celem branży od wielu lat. W HPC, projekt Globus pokazało siłę grid computing opartym i zrodził wiele udanych siatek obliczeniowych produkcji. Cloud computing ma Grid Computing na zupełnie nowy poziom, przy użyciu wirtualizacji do hermetyzacji systemu operacyjnego (OS) instancji. Użytkownicy mogą budować własne instancji systemu operacyjnego i uruchomić go w obłoku, gdy potrzebują zasobów obliczeniowych. W uzupełnieniu do cloud computing, cloud storage także może być używany samodzielnie lub w połączeniu z przypadkami OS.
Cloud computing would seem to be an HPC user’s dream offering almost unlimited storage and instantly available and scalable computing resources, all at a reasonable metered cost. For all but the basic HPC applications, however, the use of a typical cloud needs a bit of due diligence because remote HPC services can range from shared HPC clusters to fully virtualized cloud environments.
Cloud computing wydaje się być użytkownikiem HPC marzenie oferuje prawie nieograniczone przechowywanie i natychmiast dostępne i skalowalne zasoby obliczeniowe, wszystkie w rozsądnych kosztach odmierzonej. Za wszystkie podstawowe aplikacje HPC jednak zastosowania typowego chmury wymaga trochę staranności ponieważ zdalne usługi HPC może wynosić od wspólnych klastrów HPC pełni środowiskach wirtualnych chmury.
Not All Clouds Look the Same
Nie wszystkie chmury wyglądają tak samo
A “traditional” cloud offers features that are attractive to the general public. These services comprise single, loosely coupled instances (an instance of an OS running in a virtual environment) and storage systems backed by service level agreements (SLAs) that provide the end user guaranteed levels of service. These clouds offer the following features:
"Tradycyjny" cloud oferuje funkcje, które będą atrakcyjne dla ogółu społeczeństwa. Usługi te obejmują pojedyncze, luźno powiązane instancje (instancja OS działa w środowisku wirtualnym) i systemów pamięci masowej poparte umowami o poziomie usług (SLA), które dostarczają użytkownika końcowego gwarantuje poziom usług. Chmury te mają następujące cechy:
· Instant availability – Cloud offers almost instant availability of resources.
· Large capacity – Users can instantly scale the number of applications within the cloud.
· Software choice – Users can design instances to suit their needs from the OS up.
· Virtualized – Instances can be easily moved to and from similar clouds.
· Service-level performance – Users are guaranteed a certain minimal level of performance.
• Natychmiastowa dostępność - Cloud oferuje prawie natychmiastową dostępność zasobów.
• Duża pojemność - Użytkownicy mogą natychmiast przeskalować liczbę aplikacji w chmurze.
• wybór oprogramowania - Użytkownicy mogą projektować wystąpień do swoich potrzeb z up OS.
• Wirtualne - Wystąpienia mogą być łatwo przenoszone do iz podobnymi chmurami.
• Service-poziom wydajności - Użytkownicy są gwarancją pewnego minimalnego poziomu wydajności.
Although these features serve much of the market, HPC users generally have a different set of requirements:
Chociaż funkcje te służą wiele rynku użytkownicy HPC ogół innego zestawu wymagań:
· Close to the “metal” – Many man-years have been invested in optimizing HPC libraries and applications to work closely with the hardware, thus requiring specific OS drivers and hardware support.
· Userspace communication – HPC user applications often need to bypass the OS kernel and communicate directly with remote user processes.
· Tuned hardware – HPC hardware is often selected on the basis of communication, memory, and processor speed for a given application set.
· Tuned storage – HPC storage is often designed for a specific application set and user base.
· Batch scheduling – All HPC systems use a batch scheduler to share limited resources.
• Zamknąć do "metalu" - wiele człowieka roku zainwestowano w optymalizacji bibliotek i aplikacji HPC do ścisłej współpracy ze sprzętem, co wymaga specjalnych sterowników OS i wsparcia sprzętowego.
• Strefa komunikacji - aplikacje HPC użytkownik często muszą obejść jądra systemu operacyjnego i komunikować się bezpośrednio z procesów zdalnych użytkowników.
...
mateussz7