También tuvo varias amantes de larga duración, entre ellas Annabelle de Balliol y Rosamund Clifford con quienes tuvo hijos ilegítimos.