Urodził się w rodzinie ewangelickiej z ojca Fryderyka (sekretarz powiatowy) i matki Salomei z Krajewskich. Ojciec był potomkiem rodziny hugenockiej, która w XVII w. osiedliła się w Polsce. Edmund dzieciństwo spędził w Buku, a następnie we Wrześni. Wychowaniem Edmunda i jego rodzeństwa, w tym młodszym bratem Oskarem, zajmowała się wyłącznie matka „zacna i gorliwa Polka”, ojciec bowiem często zmieniał miejsca pracy i mieszkał w oddaleniu od rodziny. Na atmosferę wychowania miał niewątpliwie wpływ fakt bywania w ich domu Andrzeja Niegolewskiego – oficera szwoleżerów, uczestnika bitwy o wąwóz Somosierra. Callier od 1843 uczęszczał do niemieckiego gimnazjum w Poznaniu, później „uczył się handlu”, lecz bez powodzenia. Podczas wojny szlezwickiej (1848-1850) wstąpił do armii pruskiej. Z powodu młodego wieku zwolnili go jednak wkrótce, wtedy podjął pracę we Wrześni jako urzędnik zarządu miasta (urzędu ziemskiego), którym pozostawał do 1854. Następnie udał się pieszo do Francji gdzie wstąpił do Legii Cudzoziemskiej. Brał udział w wojnie krymskiej, walczył pod Sewastopolem, gdzie dosłużył się stopnia sierżanta i zasłużył sobie na obywatelstwo francuskie.