Ludvig XIV var født i slottet, og dette er bakgrunnen for at byvåpenet viser en vugge og hans fødselsdato. Ludvig XIV hadde Saint-Germain-en-Laye som sin hovedresidens i årene 1661 til 1681. Han stilte slottet til disposisjon for kong Jakob II etter at han hadde reist i eksil etter 1688-revolusjonen. Jakob II bodde på slottet i 13 år, og hans datter Louisa Maria Stuart ble født i eksil her i 1692. Jakob II er begravet ved byens St. Germanus-kirke.