Родился в семье мелкого чиновника Фредерика Каллера (1803 — 1881) и его жены Соломии Каллер (в девичестве Краевская) (14.11.1812 — 11.02.1888) в городе Замтер (провинция Познань, Пруссия). Младший брат Оскар Каллер (23.06.1846 — 23.02.1929), семья исповедовала протестантизм. Окончил мужскую гимназию в Познани, практический сразу после этого добровольцем вступил в прусскую армию для участия в Датско-прусской войне, однако вскоре был демобилизован из-за юного возраста. Уехал в Вжесню, где был принят на работу писарем в земельную контору в которой проработал до 1854 года, после чего уволился и уехал в Париж, где вступил во французский Иностранный легион для участия в Крымской войне.