En 1877, Payer contrajo matrimonio con la ex–mujer de un banquero de Frakfurt am Main, con la que tendría dos hijos: Jules y Alice.