Antoine de Lhoyer entstammte einer dem Landadel angehörigen Familie aus der Auvergne. Zu seinen wichtigsten Lehrern gehörte wohl Pierre-Jean Porro. Sein Leben als Soldat der royalistischen Armeen führte ihn unter anderem nach Koblenz und Wien. Er ließ sich im Jahr 1800 für zwei Jahre in Hamburg nieder, wo einige seiner Werke veröffentlicht wurden. Auf der Reise nach Russland gab er im Dezember 1802 ein Konzert in Berlin. In Sankt Petersburg war er während zehn Jahren als Komponist und Gitarrist im Umfeld des Zarenhofes tätig. Vor dem Russlandfeldzug Napoleons kehrte er nach Frankreich zurück.