和团围攻使馆区时并未被破坏。但是在《辛丑条约》签订后，日本借口公使馆原址狭小，不敷使用，迫使清政府将西边的詹事府、肃亲王府及部分民宅划为新的用地。该用地南部新建日本使馆，北部新建日本兵营。新址的北部和东部与法国使馆、意大利使馆相接，南部与西班牙使馆、横滨正金银行相邻，正门开在御河路（今正义路），和英国使馆隔御河相对。该日本使馆的设计师是日本建筑师真水英夫。使馆兴建时保留了肃亲王府花园内的部分树木、山石、围墙。中华人民共和国时期，日本使馆旧址成为北京市人民政府办公区。2001年，日本使馆旧址作为东交民