Comté de Westchester
Né à dans le Comté de Westchester (New York), il était le fils de Pierre Lorillard III (1796-1867) et de Catherine Griswold.