日本外务省雇片山东熊任公使馆设计和工程监督。1885年5月开工，1886年8月完工。这处日本公使馆旧馆是东交民巷地区现存最早的建筑物，是该地区唯一保留至今的19世纪建造的建筑。其设计者片山东熊是日本最早受近代建筑学高等教育的四名建筑师之一。中华人民共和国时期，该建筑成为中共北京市委宿舍。
建筑.该公使馆的大门仅存遗迹，主要建筑由办公用的本馆及其后面的宿舍两部分组成。旁边的东交民巷23号为后期营房。