Byggegrunnen langs Bispegata hvor Thomas Angells hus ble oppført var eid av Thomas Angell. Området var tilholdssted for et dominikanerkloster før reformasjonen og bygget fikk dermed kallenavnet . Ved Angells død i 1767 begynte man å forvalte hans arv gjennom Thomas Angells stiftelser, og i mars 1770 ble det vedtatt å oppføre et bygg for formålet han hadde stipulert i sitt testament fra 1762. Opprinnelig var planen å reise et bygg i tre, med Heinrich Kühnemann som arkitekt, men stiftelsens styre vedtok å heller bygge i mur. Dermed var det Johan Christian Neumann som til slutt fikk oppdraget.