当公園は、1885年(明治18年)に旧岩国藩主であった吉川家の氏神社である吉香神社が現在の所在地(吉川氏の居館跡)へ移設されたのに合わせ、同神社の境内および付属地が庭園として整えられたのを始まりとする。