侍御史周方崇以为是讥刺自己，劾唐文若狂诞倨傲，九月，唐文若被出知邵州。高宗屡次对近臣说唐文若无罪，可改任于近郡。唐文若知饶州，兴办学宫，减田租二万石，又请每年买入常平义仓存粮的十分之三与百姓平衡市场，农民获利，粮食也不积压腐烂，于是唐文若政绩出色。余干县曾有大盗，巡尉不能制止，唐文若遣牙兵捕杀之。二十八年（1158年）十月，上言：“本州岛鄱阳县管下石头镇，自城下至本镇八十里，自本县至乐平县四十里，相去一百二十里之间三税，委是频并，收税亏欠。乞将石头镇税务废并，豁税额。”获准。加直敷文阁，移知温州。三十一