Nach Absolvierung des Kadettenkorps wurde er am 25. August 1865 als Junker im 1. Artillerie-Regiment der Bayerischen Armee angestellt. Als Unterleutnant nahm Belleville 1866 während des Krieges gegen Preußen an den Gefechten bei Helmstadt und Roßbrunn teil. Im Krieg gegen Frankreich 1870/71 kämpfte er als Oberleutnant der Kartätschbatterie „Graf Thürheim“ im Gefecht bei Artenay und wurde während der Schlacht bei Coulmiers durch einen Schuss in das linke Schienbein verwundet. Belleville geriet dadurch kurzzeitig in französische Gefangenschaft und kam nach seine Befreiung noch in der Schlacht von Orléans zum Einsatz. Für seine Leistungen während des Krieges war er mit dem Eisernen Kreuz II. Klasse sowie dem Ritterkreuz II. Klasse des Militärverdienstordens mit Schwertern ausgezeichnet worden.