Pocházel ze starého, ale nepříliš bohatého šlechtického rodu, narodil se jako nejstarší syn Sira Winstona Churchilla (1620–1688), dlouholetého člena Dolní sněmovny. Od mládí působil u dvora vévody z Yorku, pozdějšího krále Jakuba II. Na vzestupu rodu se podílely jeho sestra Arabella a pozdější manželka Sarah Churchillová, vévodkyně z Marlborough (obě byly milenkami Jakuba II.). John byl v letech 1679–1682 poslancem parlamentu, v roce 1685 byl jmenován generálem a vyslancem v Paříži. V roce 1682 obdržel titul lorda platný pro Skotsko, v roce 1685 byl jmenován lordem v Anglii a vstoupil do Sněmovny lordů. Byl též guvernérem Společnosti Hudsonova zálivu (1685–1692) Po Slavné revoluci se přidal k Vilémovi Oranžskému, načež se stál královským komořím, členem Tajné rady a hrabětem z Marlborough (1689). V roce 1692 byl krátce vězněn kvůli podezření z jakobitismu. Později se mohl vrátit ke dvoru a stal se vychovatelem vévody z Gloucesteru (1698–1700). V letech 1698–1700 byl také nejvyšším štolbou království.