Passy ble født i Paris som sønn av Felix Passy, en veteran fra slaget ved Waterloo, og Marie-Louis-Pauline Salleron. Hans onkel var Hippolyte Passy, som var minister i regjeringen til både Louis Philippe og Napoleon III.