Faits: A. Selon un rapport de dénonciation du 12 octobre 2010, A._ circulait sur l'autoroute A9 (Lausanne-Simplon) lorsqu'il a été interpellé par deux agents de la police cantonale après avoir suivi, sur la voie de droite de l'autoroute, à une vitesse d'environ 110 km/h, le véhicule précédent à une distance oscillant entre cinq et dix mètres, sur une distance d'environ 1'200 mètres. Cet intervalle était insuffisant pour lui permettre de s'arrêter à temps en cas de freinage inopiné du véhicule le précédant. Le rapport précise également que le conducteur a nié le bien-fondé de l'intervention de police. Par prononcé sans citation du 22 octobre 2010, le Préfet de Riviera-Pays d'Enhaut (ci-après: le Préfet) a condamné A._ au paiement d'une amende de 200 francs pour violation simple de la loi fédérale du 19 décembre 1958 sur la circulation routière (LCR; RS 741.01). Estimant ne pas avoir commis d'infraction, le prénommé a demandé le réexamen dudit prononcé. Le 25 novembre 2010, le Préfet a, après avoir entendu personnellement l'intéressé, rendu un nouvelle décision confirmant le prononcé du 22 octobre 2010. Cette décision n'a pas été contestée. Le 9 novembre 2010, le Service vaudois des automobiles et de la navigation (SAN) a indiqué à A._ qu'en raison de l'infraction dénoncée par la police cantonale, une mesure de retrait de son permis de conduire était envisagée. Le 7 janvier 2011, le SAN a retiré le permis de conduire de l'intéressé pour trois mois, considérant que l'infraction devait être qualifiée de grave au sens de l'art. 16c al. 1 let. a LCR. Cette décision a été maintenue le 31 mars 2011, sur réclamation. B. Par arrêt du 3 octobre 2011, la Cour de droit administratif et public du Tribunal cantonal vaudois (ci-après: la CDAP) a confirmé cette dernière décision. La jurisprudence qualifiait de grave la faute consistant à suivre un véhicule à un intervalle inférieur à 0,8, voire 0,6 seconde. Or, dans le cas d'espèce, la distance entre l'intéressé et l'automobile qui le précédait était de 0.32 seconde selon les constatations faites par la police cantonale dont il n'y avait pas lieu de s'écarter. L'autorité administrative n'était pas liée par le prononcé du Préfet s'agissant de l'appréciation de la faute. Enfin, la durée du retrait correspondait au minimum légal. C. Agissant par la voie du recours en matière de droit public, A._ demande au Tribunal fédéral principalement de réformer l'arrêt du Tribunal cantonal en ce sens que l'infraction soit qualifiée de légère voire de moyennement grave et qu'un avertissement soit prononcé à son encontre. Il conclut subsidiairement à l'annulation de l'arrêt attaqué et au renvoi de la cause au Tribunal cantonal pour nouvelle décision dans le sens des considérants. La CDAP, le SAN et l'Office fédéral des routes concluent au rejet du recours en se référant à l'arrêt attaqué.