于西汉景帝四年（前153）所置剡县，县治本在剡溪东岸（今县城东北），三国东吴时县令贺齐迁县治于今址并始筑城墙，另唐初曾在今址西南建剡州城，后废。元代时已有五门，分别为东门东曦门、南门望仙门、西门西城门、北门通越门以及西门与南门之间的化龙门。明洪武时信国公汤和拆除城墙以筑临山卫城，至嘉靖三十四年（1555）为防倭寇侵扰，知县吴三畏按故址重筑城墙。城墙北跨鹿胎山，南临剡溪（1978年剡溪城关段改道，向南另辟新江，故道改为内湖，即剡湖），其沿江部分兼可防御水患。城周一千三百丈余（约4160米，至20世纪50年代时