Det er tre bygninger på Kongsgård, av ulik opphav med hver sine historier med ombygginger og påbygg: Hovedbygget fra middelalderen, med blant annet bispekapellet, grotten og riddersalen. Underetasjen (middelalderekjelleren) benyttes nå til elevaktiviteter. Første etasje brukes av administrasjonen, rådgivere og lærere. Loftet over hovedbygget nyttes til arbeidsplasser for lærerne, og loftet over Olsens Minde til tekniske rom. Ved restaureringen ble rominndelingen i første etasje endret noe. I det gamle kjøkkenet ble bjelkelaget beholdt. Klasserommet Lille Marius ble forsøkt rekonstruert til et klasserom fra omkring 1875-1900. Riddersalen og rektors kontor ble også forsøkt rekonstruert til den samme tidsepoken. Skolebygget som ble oppført i 1853, og senere utvidet i 1877 og 1905. Gymsalen.