Faits:
A. Selon un rapport de dénonciation du 12 octobre 2010, A._ circulait sur l'autoroute A9 (Lausanne-Simplon) lorsqu'il a été interpellé par deux agents de la police cantonale après avoir suivi, sur la voie de droite de l'autoroute, à une vitesse d'environ 110 km/h, le véhicule précédent à une distance oscillant entre cinq et dix mètres, sur une distance d'environ 1'200 mètres. Cet intervalle était insuffisant pour lui permettre de s'arrêter à temps en cas de freinage inopiné du véhicule le précédant. Le rapport précise également que le conducteur a nié le bien-fondé de l'intervention de police.
Par prononcé sans citation du 22 octobre 2010, le Préfet de Riviera-Pays d'Enhaut (ci-après: le Préfet) a condamné A._ au paiement d'une amende de 200 francs pour violation simple de la loi fédérale du 19 décembre 1958 sur la circulation routière (LCR; RS 741.01). Estimant ne pas avoir commis d'infraction, le prénommé a demandé le réexamen dudit prononcé.
Le 25 novembre 2010, le Préfet a, après avoir entendu personnellement l'intéressé, rendu un nouvelle décision confirmant le prononcé du 22 octobre 2010. Cette décision n'a pas été contestée.
Le 9 novembre 2010, le Service vaudois des automobiles et de la navigation (SAN) a indiqué à A._ qu'en raison de l'infraction dénoncée par la police cantonale, une mesure de retrait de son permis de conduire était envisagée. Le 7 janvier 2011, le SAN a retiré le permis de conduire de l'intéressé pour trois mois, considérant que l'infraction devait être qualifiée de grave au sens de l'art. 16c al. 1 let. a LCR. Cette décision a été maintenue le 31 mars 2011, sur réclamation.
B. Par arrêt du 3 octobre 2011, la Cour de droit administratif et public du Tribunal cantonal vaudois (ci-après: la CDAP) a confirmé cette dernière décision. La jurisprudence qualifiait de grave la faute consistant à suivre un véhicule à un intervalle inférieur à 0,8, voire 0,6 seconde. Or, dans le cas d'espèce, la distance entre l'intéressé et l'automobile qui le précédait était de 0.32 seconde selon les constatations faites par la police cantonale dont il n'y avait pas lieu de s'écarter. L'autorité administrative n'était pas liée par le prononcé du Préfet s'agissant de l'appréciation de la faute. Enfin, la durée du retrait correspondait au minimum légal.
C. Agissant par la voie du recours en matière de droit public, A._ demande au Tribunal fédéral principalement de réformer l'arrêt du Tribunal cantonal en ce sens que l'infraction soit qualifiée de légère voire de moyennement grave et qu'un avertissement soit prononcé à son encontre. Il conclut subsidiairement à l'annulation de l'arrêt attaqué et au renvoi de la cause au Tribunal cantonal pour nouvelle décision dans le sens des considérants.
La CDAP, le SAN et l'Office fédéral des routes concluent au rejet du recours en se référant à l'arrêt attaqué.

Considérant en droit:
1. La voie du recours en matière de droit public, au sens des art. 82 ss LTF, est ouverte contre une décision de dernière instance cantonale relative à une mesure administrative de retrait du permis de conduire. Déposé en temps utile (art. 100 al. 1 LTF) et en la forme prévue (art. 42 LTF) par le destinataire de l'arrêt attaqué qui a un intérêt digne de protection à l'annulation ou à la modification de celui-ci (art. 89 al. 1 LTF), le présent recours est recevable.
2. Le recourant reproche à la CDAP d'avoir procédé à une constatation inexacte et arbitraire des faits. Celle-ci aurait à tort retenu qu'il avait renoncé à faire valoir ses droits dans la procédure pénale; il se prévaut à cet égard du fait qu'il a demandé le réexamen de la décision préfectorale. En outre, il fait grief à la CDAP de ne pas avoir tenu pour établie sa version des faits selon laquelle il aurait eu une conduite inadaptée sur 100 à 200 mètres au maximum, à une vitesse de 80 km/h environ, en quittant l'autoroute, plus précisément à l'embranchement entre l'autoroute qui continue en direction de Fribourg et la sortie de Vevey; il invoque sur ce point l'incohérence du rapport de police et soutient que le prononcé préfectoral serait basé sur sa version des faits.
2.1 En principe, l'autorité administrative statuant sur un retrait du permis de conduire ne peut pas s'écarter des constatations de fait d'un jugement pénal entré en force. La sécurité du droit commande en effet d'éviter que l'indépendance du juge pénal et du juge administratif ne conduise à des jugements opposés, rendus sur la base des mêmes faits (<ref-ruling> consid. 2.3.2 p. 368 et les références).
L'autorité administrative ne peut s'écarter du jugement pénal que si elle est en mesure de fonder sa décision sur des constatations de fait inconnues du juge pénal ou qui n'ont pas été prises en considération par celui-ci, s'il existe des preuves nouvelles dont l'appréciation conduit à un autre résultat, si l'appréciation à laquelle s'est livré le juge pénal se heurte clairement aux faits constatés, ou si le juge pénal n'a pas élucidé toutes les questions de droit, en particulier celles qui touchent à la violation des règles de la circulation (<ref-ruling> consid. 2.4 p. 315; <ref-ruling> consid. 3c/aa p. 104; <ref-ruling> consid. 1a et les références). Cela vaut non seulement lorsque le jugement pénal a été rendu au terme d'une procédure publique ordinaire au cours de laquelle les parties ont été entendues et des témoins interrogés, mais également, à certaines conditions, lorsque la décision a été rendue à l'issue d'une procédure sommaire, même si la décision pénale se fonde uniquement sur le rapport de police. Il en va notamment ainsi lorsque la personne impliquée savait ou aurait dû prévoir, en raison de la gravité des faits qui lui sont reprochés, qu'il y aurait également une procédure de retrait de permis. Dans cette situation, la personne impliquée est tenue, en vertu des règles de la bonne foi, de faire valoir ses moyens dans le cadre de la procédure pénale, le cas échéant en épuisant les voies de recours à sa disposition. Elle ne peut pas attendre la procédure administrative pour exposer ses arguments (ATF <ref-ruling> consid. 3c/aa p. 104; <ref-ruling> consid. 3a p. 217 s.).
Si les faits retenus au pénal lient donc en principe l'autorité et le juge administratifs, il en va différemment des questions de droit, en particulier de l'appréciation de la faute et de la mise en danger (arrêt 1C_353/2010 du 12 janvier 2011 consid. 2.1 et les références).
2.2 Contrairement à ce que soutient le recourant, la CDAP fait état du premier prononcé pénal et du fait que le recourant en a demandé le réexamen. Cela étant, après avoir entendu personnellement l'intéressé, le juge pénal a rendu une décision sur réexamen le 25 novembre 2010 aux termes de laquelle il confirmait l'infraction et la sanction prononcées le 22 octobre 2010. Le prononcé pénal du 25 novembre 2010, tout comme le premier, se fonde en l'occurrence sur les faits constatés par les deux agents de la police cantonale dans leur rapport de dénonciation du 12 octobre 2010, comme le retient la CDAP. Aussi, les critiques du recourant selon lesquelles le juge pénal se serait basé sur d'autres éléments de fait que ceux retenus par le rapport de police tombent à faux.
En outre, par courrier du 9 novembre 2010, soit avant que le prononcé préfectoral sur réexamen ne soit rendu, le SAN a indiqué au recourant qu'il envisageait de prononcer un retrait du permis de conduire pour l'infraction dénoncée par le rapport de dénonciation de la police cantonale. Si celui-ci désapprouvait ces faits, il lui appartenait de faire valoir ses moyens dans le cadre de la procédure pénale conformément à la jurisprudence précitée. C'est dans ce cadre uniquement qu'il pouvait remettre en cause la crédibilité des constatations de la police cantonale. N'ayant pas contesté le prononcé préfectoral du 25 novembre 2010 confirmant le précédent jugement, il devait se voir opposer la force de chose jugée au pénal. Enfin, il ne cherche pas à démontrer que l'une des hypothèses dans lesquelles la jurisprudence conçoit que l'autorité administrative puisse s'écarter des faits retenus par le jugement pénal serait réalisée.
2.3 Dans ces circonstances, on ne saurait reprocher à la CDAP d'avoir établi les faits de façon manifestement inexacte en se fondant sur les constatations faites par la police cantonale. Le Tribunal de céans se voit donc lié par l'état de fait de l'arrêt attaqué qui retient que l'intéressé a circulé à une distance oscillant entre cinq et dix mètres du véhicule le précédant, à une vitesse de 110 km/h sur une distance d'environ 1'200 m.
3. Le recourant critique également la qualification juridique de l'infraction commise. Il relève notamment que sur le plan pénal il a été condamné pour violation simple des règles de la LCR, cet élément constituant, selon lui, un indice de l'absence de gravité des faits qui lui sont reprochés.
3.1 Commet une infraction grave selon l'art. 16c al. 1 let. a LCR la personne qui, en violant gravement les règles de la circulation, met sérieusement en danger la sécurité d'autrui ou en prend le risque. Conformément à l'art. 16c al. 2 let. a LCR, le permis d'élève conducteur ou le permis de conduire est retiré pour trois mois au minimum. Si des circonstances telles que la gravité de la faute, les antécédents ou la nécessité professionnelle de conduire un véhicule automobile doivent être prises en compte pour fixer la durée du retrait, la durée minimale ne peut pas être réduite, à teneur de l'art. 16 al. 3 LCR.
Selon l'art. 34 al. 4 LCR, le conducteur observera une distance suffisante envers tous les usagers de la route, notamment pour croiser, dépasser et circuler de front ou lorsque des véhicules se suivent. L'art. 12 al. 1 de l'ordonnance sur les règles de la circulation routière du 13 novembre 1962 (OCR; RS 741.11) prévoit que, lorsque des véhicules se suivent, le conducteur se tiendra à une distance suffisante du véhicule qui le précède, afin de pouvoir s'arrêter à temps en cas de freinage inattendu.
Il n'existe pas de règle absolue sur ce qu'il faut entendre par "distance suffisante" au sens de ces dispositions; cela dépend des circonstances concrètes, notamment des conditions de la route, de la circulation et de la visibilité, de même que de l'état des véhicules impliqués. La jurisprudence n'a pas fixé de distances minima à respecter au-delà desquelles il y aurait infractions, simple, moyennement grave ou grave, à la LCR. La règle des deux secondes ou du "demi compteur" (correspondant à un intervalle de 1,8 seconde) sont des standards minima habituellement reconnus (<ref-ruling> consid. 3.1 p. 135). Prenant en compte la pratique allemande et la doctrine, la jurisprudence du Tribunal fédéral a considéré que le cas peut être grave lorsque l'intervalle entre les véhicules est inférieur à 0,8 voire 0,6 seconde (<ref-ruling> consid. 3.2.2 p. 137 et les références citées). Ainsi, une faute grave a été retenue lorsqu'un automobiliste a, sur une distance de 800 mètres environ et à une vitesse supérieure à 100 km/h, suivi le véhicule le précédant sur la voie de gauche de l'autoroute avec un écart de moins de 10 mètres, correspondant à 0,3 seconde de temps de parcours (<ref-ruling>), ou lorsque, à une vitesse de 100 km/h, il a suivi le véhicule précédent sur 330 mètres, à une distance de 10 mètres (arrêt 1C_356/2009 du 12 février 2010) ou encore lorsqu'il a circulé à une vitesse de 100 km/h environ, sur 700 mètres, à une distance située entre 7 et 10 mètres du véhicule le précédant (arrêt 1C_7/2010 du 11 mai 2010) ou enfin si à la même vitesse il suit sur 500 mètres un véhicule à une distance variant entre 5 et 10 mètres (arrêt 1C_274/210 du 7 octobre 2010).
3.2 En l'espèce, le recourant prétend n'avoir commis qu'une faute légère, voire moyennement grave. Il part toutefois de la prémisse erronée qu'il aurait adopté une conduite inadaptée sur une distance maximale de 100 à 200 mètres à une vitesse de 80 km/h. Or, cette version des faits n'est pas celle qui a été retenue, sans arbitraire, par la CDAP. En l'occurrence, dite autorité a estimé, en se basant sur les constatations de la police cantonale, que le laps de temps entre les deux véhicules concernés était de 0.32 seconde, dans le cas le plus favorable à l'intéressé. Au vu de la jurisprudence exposée ci-dessus, c'est à juste titre que la CDAP a qualifié de grave la faute réalisée par le recourant, nonobstant les bons antécédents de celui-ci. L'intervalle entre les deux véhicules est en effet nettement insuffisant pour permettre au conducteur de réagir en cas de besoin.
Enfin, contrairement à ce que semble soutenir le recourant, le SAN, tout comme la CDAP, étaient libres de procéder à leur propre appréciation juridique des faits pertinents, tels qu'ils résultent du dossier, sans être liés par le jugement pénal (cf. consid. 2.1). En effet, cette appréciation ne dépendait pas étroitement de faits que le Préfet connaissait de manière plus approfondie que l'autorité administrative.
3.3 La mesure confirmée par la CDAP apparaît ainsi conforme au droit fédéral.
4. Les considérants qui précèdent conduisent au rejet du recours. Le recourant, qui succombe, doit supporter les frais judiciaires (art. 65 et 66 LTF). Il n'est pas alloué de dépens (art. 68 al. 3 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, arrêtés à 2'000 francs, sont mis à la charge du recourant.
3. Le présent arrêt est communiqué au mandataire du recourant, au Service des automobiles et de la navigation et au Tribunal cantonal du canton de Vaud, ainsi qu'à l'Office fédéral des routes.
Lausanne, le 6 mars 2012
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président: Fonjallaz
La Greffière: Arn