Jan Hendrich Lexow argumenterte i 1960 for at Kongsgård opprinnelig hadde vært en kongsgård fram til bybrannen i 1272, og at biskopen hadde Olavsklosteret som sitt bosted. Han argumenterer med at da kong Magnus Lagabøte bodde i Stavanger i 1260-1261 og 1263 har han trolig bodd på Kongsgård. Videre at bygningen har mange likheter med bygningene på Utstein før det ble et kloster, og som Magnus Lagabøte var byggherre for.