Ojciec kompozytora również Franciszek pochodził z rodziny rzemieślniczej, wywodzącej się z północnych Moraw, z terenów, gdzie wpływy języka czeskiego mieszały się z niemieckim. Jego pradziadek, pochodzący z Francji i noszący jeszcze nazwisko Le Harde, osiedlił się w 1770 roku w wiosce Brünnels koło Hohenstadt, należącej do włości księcia Liechtensteina, gdzie założył warsztat szklarski. W 1782 roku urodził się jego syn Johann, a w 1810 wnuk Josef. Josef wywędrował z rodzinnej wsi do położonej niedaleko Ołomuńca wioski Schönwald, gdzie w 1829 roku poślubił starszą od siebie o 6 lat córkę bogatego chłopa Georga Polacha, Annę. Żona, oprócz sporego majątku, wniosła mężowi w posagu ładny głos i wrodzoną muzykalność. Zaważyło to na losie synów. Wprawdzie najstarszy Johann (ur. 1830) przejął po ojcu warsztat szklarski, ale dwaj młodsi Anton (ur. 1834) i Franciszek (ur. 1838) zajęli się zawodowo muzyką. Anton został miejskim dyrektorem muzycznym w pobliskim Šternberku. Franciszek nauczywszy się gry na 10 instrumentach (wszystkich smyczkowych, trąbce, rogu, klarnecie i perkusji), przez dwa lata pracował w orkiestrze wiedeńskiego "Theater an der Wien". W 1859 roku został wcielony do wojska, do orkiestry 50. pułku piechoty. Brał udział w bitwach pod Magentą i Solferino, a w 1863 roku, w wieku 25 lat został mianowany najmłodszym kapelmistrzem cesarskiej armii. Po klęsce armii austriackiej w wojnie z Prusami, pułk został przeniesiony do węgierskiego Komárom nad Dunajem. Mieszkańcy 13-tysięcznego miasteczka, ostrzelanego w 1849 roku przez austriacką artylerię, odnieśli się do austriackich żołnierzy niezbyt przyjaźnie. Franciszek znalazł jednak drogę do domu mieszkającej na obrzeżach miasta wdowy i do serca jej dwudziestoletniej córki, Christiny Neubrandt. Po czteromiesięcznym narzeczeństwie, mimo że Franciszek prawie nie mówił po węgiersku, a jego narzeczona po niemiecku, 4 maja 1869 roku wzięli ślub.