三年（962年）十一月，沈义伦升给事中。干德元年（963年），沈义伦改任陕西转运使。干德二年（964年）十一月，宋攻后蜀，沈义伦为随军转运使。宋朝灭后蜀后，诸将贪暴，只有沈义伦和都监曹彬清廉。干德五年（967年）八月，在曹彬的推荐下，沈义伦升任户部侍郎、枢密副使。开宝二年（969年）二月，宋太祖亲征北汉，沈义伦辅佐赵光义留守东京。他为人节俭、谨慎，住房一直保持卑陋狭小。开宝六年（973年）八月，左仆射兼门下侍郎赵普被罢相，为河阳三城节度使。九月，枢密副使沈义伦、参知政事薛居正同日升为宰相（同中书门下平章事）