Eine Wärmepumpe funktioniert nach demselben Prinzip wie ein Kühlschrank – nur umgekehrt. Beim Kühlschrank entsteht Abwärme durch den Kühlprozess, bei der Wärmepumpe ist diese Abwärme das gewünschte Endprodukt. Als Wärmequelle wird bei der Großwärmepumpe in Simmering das Kühlwasser der Kraftwerksanlagen genutzt, in die die nicht mehr nutzbare Wärme aus den KWK-Anlagen abgeleitet wird. Zusätzlich kann auch die Umgebungswärme des in unmittelbarer Nähe liegenden Donaukanals als Wärmequelle verwendet werden.
Die Großwärmepumpe besteht aus zwei baugleichen Wärmepumpen mit jeweils einem in sich geschlossenen Kältemittelkreislauf. Dieses Kältemittel nimmt die Abwärme über einen Wärmetauscher auf und wird durch einen mit Strom betriebenem Kompressor verdichtet und erwärmt. Schließlich wird das Kältemittel wieder verflüssigt und die dabei entstehende Abwärme an das Fernwärmewasser abgegeben.