Cornwallis fue el hijo menor de Charles Cornwallis, 5.º barón Cornwallis, un rico terrateniente de Kent, y Lisa Townshend, sobrina del primer ministro Robert Walpole.