于1972年将泰源监狱和各地军事监狱的政治犯集中送到绿岛监禁。1997年，当时的立法委员施明德等16人向行政院提案，要求将绿洲山庄改为史蹟馆或纪念馆。1999年3月29日，行政院核定将绿洲山庄规划成立史蹟馆或纪念馆。2000年11月，绿岛绿洲山庄由法务部移交交通部观光局接办，2001年2月23日行政院核定名称改为「绿岛人权纪念园区」，范围从绿洲山庄扩充至庄敬营区、国防部医务所、行政院海岸巡防署岸巡及安检兵力驻用厅舍、人权纪念碑、公馆渔港及週边海岸地区。区内犯人蜡像姿态，是根据当时政治犯欧阳剑华所绘的