民國26年（1937年）7月，抗日战争全面爆發。12月，临近安徽省的首都南京沦陷。1938年1月，安徽省政府遷至六安縣；6月27日後遷立煌縣。6月，安徽省沿長江重城蕪湖、安慶相繼失守。由於安徽省政府對皖南各縣指揮不便，因此開始有設立皖南行署之議。民國27年（1938年）4月16日，皖南行政公署在休寧縣屯溪鎮（今黃山市屯溪區）正式成立。辖长江以南第六、七、八督察区，计22县。皖南行政公署秉承安徽省政府主席的命令，在所轄區域內執行一切政令，以安徽省政府主席名義行文，由行政公署主任副署。