Né au château du Canadel à La Colle-sur-Loup, il s'installe enfant à La Flèche lorsque son père, Louis-Maxime Raybaud, devient directeur de l'école militaire (Prytanée National Militaire). Lors de son arrivée en Grèce en 1821, il est mentionné par l'historien grec A. Vakalopoulos comme ancien officier de Napoléon. Cependant, Raybaud lui-même, dans les premières pages de ses mémoires grecs publiés en 1824, mentionne qu'il "entra au service en 1813" et "quitta l'armée en raison de la réduction de décembre 1820". Cela donne à l'historien britannique moderne William St. Clair une base pour considérer sa participation à la guerre d'indépendance grecque comme la recherche d'une nouvelle carrière.