Bulwer-Lyttonin isä Robert Lytton oli Lyttonin ensimmäinen jaarli. Neville meni vuonna 1899 naimisiin Wentworthin paronitar Judith Bluntin kanssa, ja pari sai kolme lasta. Bulwer-Lytton esitteli maalauksiaan vuosina 1900–1940 useissa gallerioissa, muun muassa Lontoon kuninkaallisessa akatemiassa. Hän oli jeu de paumessa kansainvälisen tason taitaja ja voitti olympiapronssia kaksinpelistä Lontoossa 1908. Bulwer-Lytton palveli ensimmäisessä maailmansodassa länsirintamalla Sommen ja Amiensin taisteluissa saaden Ranskan hallitukselta kunniamerkin. Hän erosi ensimmäisestä vaimostaan vuonna 1923 ja nai vielä myöhemmin Alexandra Fortelin, jonka kanssa hän sai yhden tyttären. Bulwer-Lytton sai vuonna 1947 jaarlin tittelin hänen veljensä kuoltua, ja vuonna 1951 hän kuoli itse 72 vuoden iässä Pariisissa.