Bispegården var bosted for biskopene i Stavanger fra og med biskop Laurits Clausen Scavenius (Scabo). Den eldste kilden som knytter ham til Bispegården er fra 15. juli 1612. Biskop Thomas Kortsen Wegener overtok etter ham. I bybrannen i 20. september 1633 brant bygningene, og nye ble satt opp igjen like etter.