务省与海军省使用，之后成为日本中央政府机关集中之地。随着时代转变，霞关成为「日本中央官界」的代名词，尤其多指最早在此的外务省，「霞关外交」一词常被使用。1968年，日本首座摩天大楼「霞关大楼」在此落成。
地名由来.古时日本武尊准备进攻虾夷时，在武藏国设置关所，因远望云霞相隔的远方而称「霞关」。此地名也出现在江户时代的地图上。