L'épouse de Vernon, Mary, décédée le , il se remarie avec Arethusa Boyle, fille de Charles Boyle, Lord Clifford. Ses derniers jours sont passés à la retraite à Watford, Hertfordshire, où il est décédé le . Ses restes sont inhumés à l'église paroissiale de Watford. Lui et sa première femme, Mary, ont deux fils et deux filles, dont Mary qui épouse Michael Harrison, député de Lisburn, comté d'Antrim. Son fils aîné, James Vernon le Jeune (décédé en 1756), est ambassadeur à Copenhague. Son plus jeune fils, Edward Vernon (1684-1757), devient un amiral célèbre pour sa victoire à Porto Bello. Le fils de Vernon par sa seconde épouse, Arethusa, Francis Vernon (1er comte de Shipbrook), est créé comte de Shipbrook en 1777.