Parkområdet var opprinnelig en del av Vår Frue kirkegård fra middelalderen og frem til den gikk ut av bruk utover første halvdel av 1800-tallet. I 1850 ble Vår Frue gate anlagt over den østre delen mot Kongens gate, og området ble frigitt til parkformål. I denne østlige delen av kirkegården øst for Vår Frue gate ble det i 1876 ble avduket en statue av Peter Tordenskiold, som gav parken sitt navn. Statuen var utformet av den danske billedhuggeren Herman Wilhelm Bissen og er en pendant til statuen av Tordenskiold utenfor Holmens kirke i København.