东吴时县令贺齐迁县治于今址并始筑城墙，另唐初曾在今址西南建剡州城，后废。元代时已有五门，分别为东门东曦门、南门望仙门、西门西城门、北门通越门以及西门与南门之间的化龙门。明洪武时信国公汤和拆除城墙以筑临山卫城，至嘉靖三十四年（1555）为防倭寇侵扰，知县吴三畏按故址重筑城墙。城墙北跨鹿胎山，南临剡溪（1978年剡溪城关段改道，向南另辟新江，故道改为内湖，即剡湖），其沿江部分兼可防御水患。城周一千三百丈余（约4160米，至20世纪50年代时建成区面积约0.6平方公里），厚一丈余（约3.2米），高二丈余（约6.4