Etter hundre år fulgte i 1857 en total modernisering, som forandret husets utseende. Arkitekt var denne gang Johan Fredrik Åbom. Etter ytterligere en ombygning i 1924 fikk huset sitt nåværende utseende.