1874-ben Scitovszky János hercegprímás, esztergomi érsek vásárolta meg az épületet. Tóth Árpád sétányra néző szárnya Budapest ostromában elpusztult, helyére modern, üvegfalú épület épült.