Charles Le Moyne se estableció con su familia en la ciudad de Ville-Marie (actual Montreal) a una edad temprana y tuvo catorce hijos en total.