元亀4年(1573年)に織田信長によって京都を追われていた室町幕府最後の将軍足利義昭が、毛利氏を頼って天正4年(1576年)から鞆に滞在しており(いわゆる「鞆幕府」)、後に鞆城となる鞆要害が築かれ義昭の居館があったとされている。