「这个孩子高尚忠正，有太尉彦云(王凌)的风范呀。」后来被刘裕辟为徐州从事史。元嘉元年（424年），谢晦外任荆州刺史、南蛮校尉，请了王玄谟为南蛮行参军、武宁太守。元嘉三年（426年），宋文帝出兵讨伐谢晦，谢晦兵败被杀，王玄谟因非主帅而获免罪，后担任长沙王刘义欣的镇军中兵参军，领汝阴太守。元嘉七年（430年），宋文帝派到彦之北伐，但因失利退还；次年滑台亦为魏军所陷。王玄谟此时就上疏文帝，认为北伐不成主因是士兵不欲远征，建议在鲁阳县及南乡县出兵攻关中及洛阳，而非以江东军队远道进攻。接着的日子多次向文帝进献北伐