Cloud-Computing wird durch eine Technologie möglich, die als Virtualisierung bezeichnet wird. Die Virtualisierung ermöglicht die Erstellung eines simulierten, rein digitalen „virtuellen“ Computers, der sich wie ein physischer Computer mit eigener Hardware verhält. Der Fachbegriff für einen solchen Computer lautet virtuelle Maschine. Bei richtiger Implementierung werden die auf demselben Host befindlichen virtuellen Maschinen durch Sandboxing voneinander getrennt, sodass sie nicht miteinander interagieren. Die Dateien und Anwendungen einer virtuellen Maschine sind für die anderen virtuellen Maschinen nicht sichtbar, obwohl sie sich auf demselben physischen Computer befinden.
Virtuelle Maschinen nutzen auch die Hardware, auf denen sie gehostet werden, effizienter. Durch das gleichzeitige Ausführen vieler virtueller Maschinen kann ein Server viele virtuelle „Server“ betreiben, und ein Rechenzentrum wird zu einer Vielzahl von Rechenzentren, die viele Unternehmen unterstützen kann. Daher können die Cloud-Provider viel mehr Kunden die gleichzeitige Nutzung ihrer Server anbieten, und sie können es kostengünstig anbieten.
Selbst wenn einzelne Server ausfallen, sollten Cloud-Server normalerweise immer online und immer verfügbar sein. Cloud-Anbieter sorgen im Allgemeinen für genug Backup-Kapazität für ihre Dienste auf mehreren Maschinen und in mehreren Regionen.
Die Nutzer greifen entweder über einen Browser oder eine App auf die Cloud-Dienste zu, wobei sie über das Internet – also viele miteinander verbundene Netzwerke – eine Verbindung mit der Cloud herstellen, und zwar unabhängig davon, welches Gerät sie verwenden.