饭仓别馆建成以后，与外国元首及外交部长会谈或特别会议均在此处召开，在此馆建成以前多是在迎宾馆举行。该馆一部份为所用，收藏幕末至开国时期的外交历史档案。附近还有旧事务次官公邸麻布台别馆。
历史.1871年（明治3年），外务省从银座迁入霞关，原先使用江户时代的福冈藩黑田邸上屋敷，然而在1877年（明治10年）2月1日烧毁。1881年（明治14年），由Charles Alfred Chastel de Boinville}设计的新厅舍竣工。1993年（平成5年），新设综合外交