Im Jahr 1928, nach dem Tod seines Bruders und seiner Schwägerin Catharina Wilhelmine geb. von Linden (1863–1926), verpachtete Ernst Maximilian Philipp den Besitz an das 1927 gegründete Freiburger Ausbildungshaus der Herz-Jesu-Priester. Im Zweiten Weltkrieg wurden Soldaten einquartiert, später Kinder aus dem Ruhrgebiet und Bombengeschädigte, nicht zuletzt Opfer des Luftangriffs auf Freiburg am 27. November 1944, untergebracht. Nach dem Krieg entstand ein Gymnasium, das die Schüler zunächst nur bis zur Mittleren Reife, ab 1966 bis zum Abitur führte und sich seit 1966 nach dem Patron der Kapelle „Kolleg St. Sebastian“ nennt. Nach und nach erwarben die Herz-Jesu-Priester den Besitz von den Kagenecks käuflich. Neben anderen Umgestaltungen und Erweiterungen wurde 1959 bis 1961 auf dem Gelände eine neue Herz-Jesu-Pfarrkirche für die 1958 von St. Jakobus (Eschbach) abgetrennte Pfarrkuratie (seit 1970 Pfarrei) Stegen errichtet. Die Kapelle wurde 1970, 1982–1983 und zuletzt 1997–2000 instand gesetzt. 1999 übergaben die Herz-Jesu-Priester ihre Schule an die Schulstiftung der Erzdiözese Freiburg, der sie Gelände und Gebäude kostenlos zur Nutzung überlassen.