Tuy đã rời khỏi chính trường, nhưng với thân phận ngoại thích, Dữu Lượng vẫn nắm trong tay nhiều quyền lực. Trong thời gian đó, Vương Đạo nắm quyền, thi hành chính sách khoan dung quá mức, dung túng nhiều tướng lĩnh như Triệu Dận, Giả Ninh... làm nhiều người bất mãn. Dữu Lượng có ý định diệt trừ Vương Đạo để trở lại triều đình, nên vào năm 338 định liên kết cùng Thái úy Si Giám cùng khởi sự, nhưng Si Giám cự tuyết đi. Dữu Lượng một lần nữa lại sai người đến thuyết phục lần nữa cũng chẳng xong, đành phải từ bỏ ý định. Nhờ đó mà một cuộc đấu tranh giành quyền lực trong triều đình mới không xảy ra.