Louise de la Vallière var datter av offiseren Laurent de La Baume Le Blanc, som kalte seg La Vallière etter en eiendom ved Amboise, og Françoise Le Provost. Etter farens død i 1651 giftet modren seg i 1655 med Jacques de Courtarvel, marki de Saint-Rémy, som tilhørte Gaston av Orléans' hoff i Blois. Louise ble oppfostret med døtrene til prins Gaston av Orléans og ble gjennom en slektnings kontakter utsett til hoffdame til kongens svigerinne Henrietta av England i 1661. Louise beskrives som en stor skjønnhet; blond, blåøyd og høyreist, men haltet noe. Hun skal ha vært alvorlig og religiøs som person.