宫公园的原本是探险家暨僧人大谷光瑞的宅邸，后来于1907年由宫内省收购，始建于1908年，在1914年竣工。庭园由园艺家福羽逸人所设计，完工后称为「武库离宫」（须磨离宫），1945年因战争而大部份损毁，之后宫内厅将庭园部份复原回损毁之前的样貌，做为皇太子明仁1959年结婚的纪念。1967年，须磨离宫公园被赐给神户市，正式名称为「神户市立须磨离宫公园」，由神户市公园绿化协会与神户市造园协力会共同管理。1989年获入选日本都市公园百选。