El padre de Payer, Franz Anton Rudolf Payer, oficial retirado, murió cuando Julius tenía sólo catorce años.