1799年至1816年期间，贝尔沃城堡重建为浪漫的哥德复兴式建筑风格，负责设计的建筑师为詹姆斯·怀亚特。但城堡在完工没多久的1816年10月26日就几乎毁于大火。此次大火带给公爵一家的损失大约是120000英镑，包括了被烧毁的提齐安诺·维伽略、彼得·保罗·鲁本斯、安东尼·范戴克和约书亚·雷诺兹等人的画作。大火之后，以大致相同的设计重建了城堡，这次的重建花了82000英镑，于1832年大致完工。建筑师詹姆斯·桑顿爵士（Sir James Thornton）为这次重建的主要负责人，他同时也是拉特兰公爵的朋