Fra begynnelsen på første århundre f.Kr. var stedet for palasset en port i den romerske bymuren fra hvor decumanus maximus av Augusta Taurinorum (det antikke navnet på Turino) hadde utreise. To av bytårnene, som er restaurert, vitner om den opprinnelige strukturen. Etter at Vestromerriket falt sammen på 400-tallet e.Kr. ble porten benyttet som en del befestningen av byens forsvar.