Vào ngày 9 tháng 9 năm 2013, liên minh đã không giành được đa số, với 72 trong số 85 nhiệm vụ được yêu cầu, mặc dù Đảng Lao động vẫn là đảng lớn nhất ở Na Uy với 30,8%. Trong bài phát biểu của mình vào đêm cùng ngày, ông thông báo rằng nội các của ông sẽ từ chức vào tháng 10 năm 2013. Stoltenberg trở lại Quốc hội, nơi ông trở thành lãnh đạo nghị viện của Đảng Lao động và là thành viên của Ủy ban Thường trực về Ngoại giao và Quốc phòng. Vào tháng 12 năm 2013, ông được Liên hợp quốc bổ nhiệm làm Đặc phái viên về Biến đổi khí hậu, cùng với cựu tổng thống Ghana John Kufuor.