秦汉时期，汉人对吴越地区正式开拓，但浙南、福建仍是越人天下，越人建立的东瓯国与闽越国一直处于独立状态。虽然汉武帝时东瓯国“举国徙中国，乃悉举众来，处江淮之间”，但迁走的仅限瓯越的王族与豪强。期间来自汉语的借用词越来越多，不过瓯越方言的主要词汇仍是土着词语。“江东方言”六朝时期开始分为“吴语”和“闽语”。温州从东汉公元323年建郡一直属会稽郡，据东晋郭璞的记载，瓯越人应从六朝开始说古吴语。因与闽语区接壤，温州话中也保留了较多与古闽语相同的特征。唐宋时期，几次大规模的移民潮，尤其是南宋迁都后，温州汉