Skavhaug ble født i Trondheim i 1915. Hans foreldre var Odin og Kathinka Skavhaug. Lite er kjent om hans tidlige liv.