Mortensen ble født i New York City. Hans danske far, Viggo Peter Mortensen, Sr. og amerikanske mor, Grace Gamble (født Atkinson), møttes i Norge. Hans morfar er canadisk,, mens hans ene bestemor er fra Trondheim. Hans familie flyttet videre til Venezuela, Argentina og Danmark, og slo seg ned i Argentina, der hans far jobbet på kylling-gårder. Der ble de til Mortensen var 11 år gammel, da hans foreldre ble skilt og hans mor flyttet tilbake til New York. Han flyttet med sin far til København.