爆发之后，安徽省沿长江重城芜湖、安庆（于1938年6月）相继失守。1938年1月安徽省政府迁至六安县；6月27日后迁立煌县。由于安徽省政府对皖南各县指挥不便，因此开始有设立皖南行署之议。民国27年（1938年）4月16日，皖南行政公署在休宁县屯溪镇（今黄山市屯溪区）正式成立。辖长江以南第六、七、八督察区，计22县。皖南行政公署秉承安徽省政府主席的命令，在所辖区域内执行一切政令，以安徽省政府主席名义行文，由行政公署主任副署。行皖南政公署设主任1人，在安徽省政府委员当中提请1人，由国民政府简派之，综理全署事