Após concluir seus estudos elementares, Carlos ingressou na Escola de Cadetes de Münster e, em 1857, já frequentava os cursos da Escola de Artilharia de Berlim. Foi oficial prussiano até 1866, quando aceitou a coroa da Romênia. Participou da Segunda Guerra do Schleswig, especialmente no assalto às cidadelas de Fredericia e , experiência que lhe seria muito útil mais tarde, na Guerra Russo-Turca.