Jan Hendrich Lexow argumenterte i 1960 for at Kongsgård opprinnelig hadde vært en kongsgård fram til bybrannen i 1272, og at biskopen hadde Olavsklosteret som sitt bosted. Han argumenterer med at da kong Magnus Lagabøte bodde i Stavanger i 1260-1261 og 1263 har han trolig bodd på Kongsgård, og at det da ikke var bispegård.