成为在南翼工作的海军军部（Admiralty）官员的宿舍。宿舍在1851年到1856年间拆除，由新版的西翼取而代之。已经过去150年了，守旧的英国人还把它叫做新翼。今天，萨默塞特府看上去像是联排房屋，和钱伯斯的设计多少有些出入。萨府里的学术组织包括皇家学会、文物学会（Society of Antiquaries）和钱伯斯襄助创办的皇家研究院。皇家研究院曾经是萨府的重要租户。伦敦大学也曾经入驻过萨府。19世纪70年代，这里还能看到学术组织的身影。
二十世纪至今.在第二次世界大战中