年时配给有栖川宫威仁亲王作御用地，作为其母的居所。1913年威仁亲王过世，其子栽仁王亦早逝，大正天皇考量有栖川宫从维新以来的功绩，让第三皇子宣仁亲王継承，为高松宫。1934年1月5日，高松宫为推广儿童健康和自然教育，将其中36,325平方公尺的土地捐赠（恩赐）给东京都，有栖川宫纪念公园也在同年11月17日开园。1973年东京都立中央图书馆和港区立麻布运动场纳入公园，使得总面积达到如今的67,131平方公尺。1975年公园的管辖权从东京都移交给港区。