藤氏（佐藤志摩介道益）在高松西南地区修筑的别邸。1625年左右，赞岐国国主在南湖一带修筑庭园。宽永17年（1640年），生驹家因发生内乱（），而遭受的处罚，失去赞岐国的领地。宽永19年（1642年），新任高松藩主，以12万石知行入主的原水户德川家的松平赖重继续了庭园的建设。此后的建设历经5代藩主时期，时间跨度超过100年，终于在延享2年（1745年）第5代藩主松平赖恭任内完工，命名为“栗林庄”，作为高松藩的别邸。明治4年（1871年），随着废藩置县而归属于明治政府管辖，8年后复归于县内管辖，作为县立