Wo früher das Freiburger Kapuzinerkloster stand wurde zwischen 1823 und 1826 nach Plänen von Kreisbaumeister Christoph Arnold, einem Schüler von Friedrich Weinbrenner, das Konviktsgebäude mit vier Flügeln und einem Innenhof errichtet. Die immer wieder veränderten Zahlen von Studierenden führten zu einem Umbau in den Jahren 1929–1932 mit einem Nordflügel, von dem aus West- und Ostflügel abzweigten. Der Innenhof wurde überdacht und zum Speisesaal umgebaut. Zum Ende dieses Umbaus erhielt das Gebäude seinen Namen als „Collegium Borromaeum – Erzbischöfliches Theologisches Konvikt“. Das Gebäudeinnere wurde beim Fliegerangriff am 27. November 1944 auf Freiburg weitgehend zerstört und zwischen 1950 und 1951 wieder aufgebaut. In den Jahren 1997 bis 2004 wurden umfassende Renovierungs- und Modernisierungsarbeiten durchgeführt.