Se casó en 1533 con Catalina de Médici con la que tuvo diez hijos, a la vez que mantenía una relación amorosa con Diana de Poitiers, que se hizo oficial en 1536.