Na místě budoucího kláštera stály asi tři domy, dva z nich při náměstí. Šlo o románské objekty postavené na původní úrovni terénu Starého Města. Při Dušní ulici stával třetí dům, který ale zanikl (poslední zmínka o něm je z roku 1433), sloučil se se sousedním domem. Mezi domy byl velký dvůr. Ten koupil v roce 1405 Jošt Moravský, po jeho smrti v roce 1411 ho zdědil Václav IV., který ho věnoval své manželce Žofii Bavorské. Žofie dům odkázala svému kuchmistru Protivovi ze Vchynic, ten jej v roce 1438 prodal Hanušovi z Kolovrat. V roce 1448 dům získal Jiří z Poděbrad a po něm jeho synové, Minsterberkové. V 16. století dům vlastnili Vartenberkové či Pernštejnové. Před rokem 1601 byl dům výrazně pozdně renesančně přestavěn, v té době jej vlastnili Berkové z Dubé.