Bygningen ligger innenfor området for den såkalte Middelalderbyen, og er opprinnelig en middelaldersk bygård, oppkalt etter stormannsætten Saxe. Senere har biskoper fra Hamar bodd i huset. Under halvparten av huset ligger en hvelvkjeller i stein fra senmiddelalderen. Den er omtalt i kilder fra 1334 til 1414 og kan være fra 1200-tallet. Gården er en av få middelaldergårder i Oslo der beliggenheten kan fastslås sikkert.