Klosterets bygningshistorie i middelalderen er fragmentarisk kjent, og er således preget av usikkerhet. Mesteparten har gått tapt i perioden fra 1600-tallet og framover da Munkholmen ble tatt i bruk til militære formål.