Agnès Sorel nedstammet fra en adelsfamilie i Touraine og var datter av offiseren Jean Sorel, herre av Coudon, og hans hustru Catherine de Maignelais. Hun kom til det franske hoff omkring år 1440 som hoffdame hos dronningens svigerinne Isabella av Anjou.