彬的推荐下，沈义伦升任户部侍郎、枢密副使。开宝二年（969年）二月，宋太祖亲征北汉，沈义伦辅佐赵光义留守东京。他为人节俭、谨慎，住房一直保持卑陋狭小。开宝六年（973年）八月，左仆射兼门下侍郎赵普被罢相，为河阳三城节度使。九月，枢密副使沈义伦、参知政事薛居正同日升为宰相（同中书门下平章事）。开宝九年（976年）十月，赵光义继位为宋太宗后，沈义伦为宋太宗避讳，改名沈伦。太平兴国四年（979年）二月，宋太宗亲征北汉和辽朝，沈伦为东京留守兼判开封府事，留守东京。太平兴国六年（981年）六月，首相薛居正去世