Il débute dans le football au club de la Jeanne d'Arc Le Béarn de Pau et remporte le concours du jeune footballeur en . Recruté par l'AS Saint-Étienne, il rejoint l'équipe première en 1966 et en devient le capitaine quelques années plus tard. Remportant de nombreux trophées sur la scène nationale avec l'équipe stéphanoise, il participe à l'« épopée des Verts » qui échoue en finale de la Coupe d'Europe des clubs champions contre le Bayern Munich en 1976. Un an plus tard, il signe au Paris Saint-Germain où il devient entraîneur-joueur. Après deux ans au Paris SG, il clôt sa carrière professionnelle fin décembre . Redevenu footballeur amateur, il est en 1982 entraîneur-joueur du club du Racing Club de Paris. Il met un terme à sa carrière de joueur en . Jean-Michel Larqué revient dans le milieu du football professionnel lors de la saison 1993-1994 comme directeur sportif de l'AS Saint-Étienne.