Le prince Félix est leur troisième fils. Son prénom est un hommage à son oncle, Félix Bacciochi, beau-frère de . Sujet du roi de Prusse, il fut élevé pour devenir officier. En 1846, il intégra le régiment de hussards et s'illustra durant la première guerre du Schleswig où il fut sérieusement blessé. En , il rejoignit l'armée autrichienne et combattit contre les Sardes. Cependant sa vie dissolue, émaillée de scandales et de duels, choquait sa famille. Il tenta alors sa chance en Amérique où venait d'éclater la guerre de Sécession. Il offrit ses services à l'armée nordiste.