Zgrajen je bil po potresu leta 1511, v katerem je bila uničena "Škofijska palača" iz leta 1461. Zgraditi ga je dal ljubljanski škof Krištof Ravbar. Vodja del je bil Avguštin Prygl - Tyfernus, tajnik, stavbenik in sodelavec takratnega škofa.