Lord ble født i Baltimore, Maryland som sønn av John Walterhouse Lord og Henrietta (født Hoffman) i 1917. Hans far, som var advokat, døde da Lord var bare tre år gammel. Lords bestefar, Richard Curzon Hoffman, var president i Baltimore Steam Packet Line («Old Bay Line»), et dampskipselskap på 1890-tallet.