Byggingen av slottet ble tidligst påbegynt sommeren 1524, da erkebiskopen kom hjem fra sin reise til Roma, og i et brev fra biskop Hans Rev i Oslo til erkebiskopen datert til 20. oktober 1525, er byggearbeidet for første gang omtalt: «Item her effther skall aldrig fortrydes, att Steenvigsholm bliffuer fulwell befested oc end met thet snareste, hwo som bygger udj fred han er thes tryggere udj wfred.» Det primære byggematerialet var kleberstein, som ble fraktet til stedet med båt fra steinbrudd sør for Trondhjem, eksempelvis i Orkdal.