Faits:
A. Selon un rapport établi par la police cantonale fribourgeoise, A._ circulait au volant d'un véhicule automobile le 29 avril 2011, vers 14h30, sur la route de Bouloz à l'intérieur de la localité de Porsel. Lors du contrôle, il a été constaté qu'il roulait à la vitesse de 71 km/h (marge de sécurité déduite), alors que la vitesse autorisée y est limitée à 50 km/h.
Le 17 juin 2011, la Commission des mesures administratives en matière de circulation routière (ci-après: la CMA) a indiqué au prénommé qu'en raison des faits dénoncés par la police, elle envisageait le prononcé d'une mesure administrative. L'intéressé n'a pas présenté d'observations.
Par ordonnance pénale du 22 juin 2011, le Préfet de la Veveyse, se fondant sur les faits constatés dans le rapport de dénonciation de la police cantonale, a condamné A._ au paiement d'une amende de 500 francs. Celui-ci n'a pas contesté ce prononcé.
Par décision du 21 juillet 2011, la CMA a ordonné le retrait du permis de conduire de A._ pour une durée de quatre mois, l'infraction étant qualifiée de moyennement grave au sens de l'art. 16b al. 1 let. a de la loi fédérale du 19 décembre 1958 sur la circulation routière (LCR, RS 741.01). La CMA a notamment tenu compte des antécédents de l'intéressé, lequel a fait l'objet de deux avertissements en 2004 et 2007 ainsi que d'un retrait de permis de trois mois pour faute grave en décembre 2008. Elle a en outre astreint celui-ci à suivre des cours d'éducation routière.
Par courrier du 22 août 2011, A._ a demandé à la CMA de pouvoir consulter toutes pièces propres à attester que le contrôle de sa vitesse par radar a été effectué dans le respect des exigences légales et réglementaires. La CMA a transmis cette requête à la police cantonale pour prise de position, laquelle a ensuite été communiquée au prénommé.
B. Par arrêt du 25 novembre 2011, la IIIe Cour administrative du Tribunal cantonal du canton de Fribourg (ci-après: le Tribunal cantonal) a rejeté le recours formé par l'intéressé contre la décision de la CMA. L'état de fait retenu au pénal liait l'autorité administrative et la requête de preuve (production de tous documents aptes à permettre la vérification du fonctionnement du radar utilisé) devait être rejetée; au demeurant, le dossier contenait des attestations de la police cantonale précisant le type de radar utilisé, la date du dernier contrôle de conformité effectué sur cet instrument et la durée de validité de ce contrôle, ainsi que l'habilitation de l'opérateur radar. Enfin, l'excès de vitesse constaté constituait une infraction de gravité moyenne et la durée du retrait de permis correspondait au minimum légal compte tenu des antécédents de l'intéressé.
C. A._ a porté sa cause devant le Tribunal fédéral. Il conclut principalement à l'annulation de l'arrêt du Tribunal cantonal confirmant le retrait de son permis pour une durée de 4 mois, subsidiairement à la réduction de la durée de son retrait à un mois, et encore plus subsidiairement au renvoi de la cause au Tribunal cantonal pour que celui-ci ordonne la production de tous moyens de preuve utiles à attester que le contrôle radar à l'origine du prononcé du retrait de permis a été effectué conformément aux prescriptions applicables.
Le Tribunal cantonal et l'Office fédéral des routes concluent au rejet du recours. La CMA a renoncé à formuler des observations.

Considérant en droit:
1. La voie du recours en matière de droit public, au sens des art. 82 ss LTF, est ouverte contre une décision de dernière instance cantonale relative à une mesure administrative de retrait du permis de conduire. Déposé en temps utile (art. 100 al. 1 LTF) et en la forme prévue (art. 42 LTF) par le destinataire de l'arrêt attaqué qui a un intérêt digne de protection à l'annulation ou à la modification de celui-ci (art. 89 al. 1 LTF), le présent recours est recevable.
2. Le recourant invoque une violation de son droit d'être entendu (art. 29 al. 2 Cst.). Il reproche à l'autorité administrative d'avoir refusé d'administrer ses offres de preuve tendant à établir l'existence, respectivement l'inexistence du dépassement de la vitesse autorisée de 21 km/h.
2.1 En principe, l'autorité administrative statuant sur un retrait du permis de conduire ne peut pas s'écarter des constatations de fait d'un jugement pénal entré en force. La sécurité du droit commande en effet d'éviter que l'indépendance du juge pénal et du juge administratif ne conduise à des jugements opposés, rendus sur la base des mêmes faits (<ref-ruling> consid. 2.3.2 p. 368 et les références).
L'autorité administrative ne peut s'écarter du jugement pénal que si elle est en mesure de fonder sa décision sur des constatations de fait inconnues du juge pénal ou qui n'ont pas été prises en considération par celui-ci, s'il existe des preuves nouvelles dont l'appréciation conduit à un autre résultat, si l'appréciation à laquelle s'est livré le juge pénal se heurte clairement aux faits constatés, ou si le juge pénal n'a pas élucidé toutes les questions de droit, en particulier celles qui touchent à la violation des règles de la circulation (<ref-ruling> consid. 2.4 p. 315; <ref-ruling> consid. 3c/aa p. 104; <ref-ruling> consid. 1a et les références). Cela vaut non seulement lorsque le jugement pénal a été rendu au terme d'une procédure publique ordinaire au cours de laquelle les parties ont été entendues et des témoins interrogés, mais également, à certaines conditions, lorsque la décision a été rendue à l'issue d'une procédure sommaire, même si la décision pénale se fonde uniquement sur le rapport de police. Il en va notamment ainsi lorsque la personne impliquée savait ou aurait dû prévoir, en raison de la gravité des faits qui lui sont reprochés, qu'il y aurait également une procédure de retrait de permis. Dans cette situation, la personne impliquée est tenue, en vertu des règles de la bonne foi, de faire valoir ses moyens dans le cadre de la procédure pénale, le cas échéant en épuisant les voies de recours à sa disposition. Elle ne peut pas attendre la procédure administrative pour exposer ses arguments (ATF <ref-ruling> consid. 3c/aa p. 104; <ref-ruling> consid. 3a p. 217 s.).
2.2 En l'occurrence, le recourant n'a pas contesté le prononcé préfectoral du 22 juin 2011. Celui-ci est entièrement fondé sur le rapport de dénonciation de la police cantonale qui constate que le recourant a dépassé, à l'intérieur d'une localité, la vitesse limitée à 50 km/h de 21 km/h (marge de sécurité déduite). Se basant sur le même rapport de dénonciation, la CMA a, par courrier du 17 juin 2011, indiqué à l'intéressé que les faits dénoncés pouvaient conduire au prononcé d'une mesure administrative. Dès lors, conformément à la jurisprudence précitée, si l'intéressé désapprouvait les faits établis par l'autorité pénale, il lui appartenait de faire valoir ses moyens dans le cadre de la procédure pénale, fût-elle sommaire. C'est dans ce cadre uniquement qu'il pouvait remettre en cause les constatations de la police cantonale, notamment en requérant l'administration de moyens de preuve tendant à vérifier la valeur probante de la mesure de sa vitesse. Le prononcé pénal n'ayant pas été contesté, il n'était plus possible de revenir sur les faits constatés dans le rapport de police.
2.3 Dans ces circonstances, on ne saurait reprocher à l'autorité administrative de s'être considérée comme étant liée par l'état de fait à la base du jugement pénal retenant un excès de vitesse de 21 km/h en localité, marge de sécurité déduite. Son refus d'instruire ne viole pas le droit d'être entendu du recourant. Le grief doit dès lors être écarté. Pour les mêmes motifs, les critiques du recourant concernant une violation des prescriptions en matière de contrôle des radars deviennent sans objet.
3. Il s'ensuit que le recours doit est rejeté, aux frais du recourant qui succombe (art. 66 al. 1 LTF). Il n'est pas alloué de dépens (art. 68 al. 3 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, arrêtés à 2'000 francs, sont mis à la charge du recourant.
3. Le présent arrêt est communiqué au mandataire du recourant, à la Commission des mesures administratives en matière de circulation routière et au Tribunal cantonal du canton de Fribourg, IIIe Cour administrative, ainsi qu'à l'Office fédéral des routes.
Lausanne, le 28 juin 2012
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président: Fonjallaz
La Greffière: Arn