Die eigentliche militärische Karriere John Churchills begann 1667 mit dem Eintritt in die Garde. 1672 wurde er zum Captain befördert, am 7. Juni 1672 nahm er an Bord des Flaggschiffs "Price Royal" an der Seeschlacht von Solebay teil. In den Feldzügen der Franzosen von 1672 bis 1677 in den Niederlanden begleitete er die verbündeten französischen Heere bis vor die Tore von Amsterdam, der Überlebenskampf der vereinigten Niederlande brachte ihm später die große militärische Erfahrung in der Belagerungskunst. Bei der Belagerung von Nimwegen und im folgenden Jahr vor Maastricht traten seine Fähigkeiten bereits hervor. Am 13. April 1674 zum Oberst des französischen Heeres ernannt, befehligte er ein englisches Regiment am oberen Rhein. Unter seinem französischen Lehrmeister, dem Marschall Turenne, kämpfte er in der Schlacht bei Sinsheim (Juni 1674), bei Enzheim im Oktober und bei Türkheim im Januar 1675. Am 5. Januar 1675 avancierte Churchill im Regiment von Oberst Charles Lyttleton zum Oberstleutnant. Am 12. August des gleichen Jahres wurde er zu seiner ersten diplomatischen Mission nach Paris geschickt. Am 17. Februar 1678 stieg John Churchill zum wirklichen Oberst im englischen Heer auf.