元年（280年）改新定县置，属新安郡。开皇九年（589年），隋灭陈后，改新安郡为歙州，废遂安县。仁寿中，复置遂安县，属睦州，大业年间，改睦州为遂安郡。唐朝时，属睦州新定郡。1958年撤销，并入淳安县。1959年，遂安县城没入新安江水库，其居民多数迁往今汾口镇杨旗坦。