一直住在新街口航空胡同四合院内，而吴德晚年继续住在东交民巷17号3号楼。吴德退隐后，生活待遇没有变化，工资关系仍在国务院系统，家中后勤服务主要由国务院机关事务管理局服务司负责。东交民巷17号院还住有多位老干部，但吴德与他们几乎不来往。21世纪初，在温家宝担任中华人民共和国国务院总理期间，此处成为其官邸。东交民巷17号的大门为铁门，有身穿军装的士兵时刻透过铁门上10厘米见方的小窗向外注视。从东交民巷17号将近3米高的围墙向院内眺望，隐约可见十余个房间。