1850/51 unternahm er seine Orientreise nach Griechenland, Syrien und Ägypten als Zeichner von Caignart de Saulcy, der die Topographie und Geschichte dieser Länder erforschte. Auf dieser Reise entdeckte Saulcy die Schihan-Stele, die von Belly gezeichnet wurde. 1853 stellte er zum ersten Mal Landschaftsgemälde von Nablus und Beirut sowie der Küste des Toten Meeres im Pariser Salon aus. 1855/56 besuchte er Ägypten, wo er in Gesellschaft eines anderen Malers, Édouard Imer, den Nil aufwärtsfuhr. Gemälde von dieser Reise stellte er auch im Salon aus und gewann 1861 eine Medaille erster Klasse. 1862 stellte er in der Weltausstellung aus und wurde in die Ehrenlegion aufgenommen.