隋称帝，建立郑朝后，卢祖尚与其断绝关系，归顺唐高祖，唐高祖嘉奖他，赐玺书劳勉，仍以为光州刺史。武德四年（621年）王世充败亡后，九月，唐高祖拜卢祖尚为光州总管，封弋阳郡公。武德六年（623年），卢祖尚将黄州的木兰女庙移到光山县南二里。同年，卢祖尚调任兖州刺史（此兖州得名于南朝侨置的南兖州，治广陵，后改称扬州，与大概在今山东省的兖州不是一处），八月，随赵郡王李孝恭讨伐割据江东的叛首宋帝辅公祏，为前军总管，攻克宣、歙二州。次年（624年）三月，辅公祏遣其将冯惠亮、陈当时领水军屯于博望山，陈正通、徐绍宗率步骑