Ifølge brev skrevet fra Munthe var kapellet tidigere et tempel bygget til gudinnen Isis, men ble senere et kapell som ble revet av saraseneren Khair ed-Din på 1500-taltet. Under den britiske okkupasjonen av Capri ble det bygget en festning der i 1804, men denne ble stormet av franskmenn i 1806 og bygget om til et kruttmagasin. I mai 1897 flyttet Munthe inn i huset.