Hofvet , Residensets förläggandetill