Urodził się w 1746 lub 1747 r. na wyspie Gorée w obecnym Senegalu. W młodości został porwany w niewolę i jako niewolnik wysłany do Indii Zachodnich, na karaibską wyspę San Domingo (obecnie Haiti). Z czasem wykupił się z niewoli z odłożonych oszczędności i wstąpił do francuskiej armii. W czasie wojny o niepodległość Stanów Zjednoczonych brał udział w walkach po stronie kolonistów, razem z innymi czarnoskórymi, którzy potem znaleźli się wśród przywódców wojny o niepodległość Haiti (m.in. Henri Christophe, André Rigaud, Alexandre Pétion, Louis-Jaques Beauvais, Julien Raimond), w składzie ochotniczego oddziału 545 Colored Volunteer Chasseurs, który w 1779 r. operował w Georgii i brał udział m.in. w bitwie pod Savannah. Udział w wojnie o niepodległość USA dał Belleyowi zarówno doświadczenie militarne, jak również zetknął go z republikańskimi ideałami wolności i równości.