Armand Desmet war Profi von 1955 bis 1967, in vielen Jahren als Helfer von Rik Van Looy. Im Jahre 1958 gewann er die erste Austragung von E3 Harelbeke, und im Jahr darauf siegte er bei der Belgien-Rundfahrt. 1960 wurde er Zweiter der Vuelta a España und entschied gemeinsam mit Frans De Mulder und Arthur De Cabooter die Mannschaftswertung für sein Team. 1961 gewann er jeweils eine Etappe von Paris–Nizza und eine der Belgien-Rundfahrt, bei der er in der Gesamtwertung den zweiten Platz belegte. 1962 entschied er Rund um den Henninger-Turm für sich, und 1964 gewann er eine Etappe der Vuelta. Bei den UCI-Straßen-Weltmeisterschaften 1963 belegte er den 18. Platz.