Na místě dnešního domu a jeho výše zmíněných sousedů stával velký románský dvorec, který byl později rozparcelován a před rokem 1466 goticky přestavěn. K další rozsáhlejší přestavbě došlo před polovinou 16. století, v rámci níž vzniklo i podloubí. Před rokem 1587 byl dům upraven renesančně (tehdy snad vznikla trojice sdružených oken) a byl spojen se severní částí dnešního domu U Tří kominíčků. Další přestavbou dům prošel na konci 17. století a kolem roku 1726. Dalším zásahem byla nedatovaná pozdně klasicistní přestavba.