康（今河南省太康县）人。少年学习《三礼》，讲学授徒。后汉干祐元年（948年），他作为使相、永兴军节度使白文珂的幕僚。后周显德三年（956年），他被宣徽使昝居润推荐为匡国军节度使赵匡胤的从事，掌管财政。赵匡胤建立宋朝，沈义伦由归德军（宋州）观察推官升为户部郎中。较关心民间疾苦，961年沈义伦出使吴越时，途经淮南扬州、泗州，见饥荒、饥民饿死，他回朝请宋太祖下诏赈济淮南。建隆三年（962年）十一月，沈义伦升给事中。干德元年（963年），沈义伦改任陕西转运使。干德二年（964年）十一月，宋攻后蜀，沈义伦为随军转