I 1680 ble han utnevnt til ny stiftsamtmann for Stavanger stiftamt, og det var i hans tid at det i kongebrev av 6. mai 1682 ble endelig bestemt at Stavanger stift heretter skulle hete Christiansand stift, og at både han som stiftamtmann, og Jacob Jensen Jersin som biskop, skulle bosette seg i Kristiansand. Begge protesterte. Rosenkrantz nevnte spesielt at i Stavanger praktiserte man ennå «» matvarer til stiftsamtmannens kjøkken uten å ta seg betalt - en skikk som ikke fantes i Kristiansand, «» by som han sammenlignet med «Galilea», i kontrast til Stavanger som «Canaans land». Sommeren 1683 måtte han like fullt bosette seg i Kristiansand, og samme høst ble han utnevnt til stiftsamtmann over Lister og Mandals amt.