Faits:
A. Par ordonnance pénale du 2 septembre 2011, le Lieutenant de Préfet de la Sarine a condamné X._ pour violation simple des règles de la circulation routière à une amende de 250 francs.
A la suite de l'opposition formée par X._ contre l'ordonnance pénale, le Juge de police de l'arrondissement de la Sarine l'a acquitté de l'infraction reprochée.
B. Par ordonnance du 13 mars 2012, le Juge de police a rejeté la requête d'indemnité formée par X._ tendant au paiement en sa faveur par l'Etat de Fribourg d'un montant de 1240 fr. 30 TVA incluse.
Par arrêt du 13 août 2012, la Cour d'appel pénal du Tribunal cantonal fribourgeois a rejeté le recours formé par X._.
C. X._ forme un recours en matière pénale contre cet arrêt. Il conclut, sous suite de frais et dépens, à ce que l'Etat de Fribourg soit condamné à lui payer une indemnité et au renvoi du dossier à l'instance précédente pour qu'elle fixe le montant de dite indemnité pour la première et seconde instances.
Il n'a pas été ordonné d'échange d'écritures.

Considérant en droit:
1. Le recourant invoque une violation de l'<ref-law>.
1.1 Selon cette disposition, le prévenu acquitté totalement ou en partie a droit notamment à une indemnité pour les dépenses occasionnées par l'exercice raisonnable de ses droits de procédure (<ref-law>). L'indemnité couvre en particulier les honoraires d'avocat, à condition que le recours à celui-ci procède d'un exercice raisonnable des droits de procédure. Selon le message du Conseil fédéral, l'Etat ne prend en charge les frais de défense que si l'assistance d'un avocat était nécessaire compte tenu de la complexité de l'affaire en fait ou en droit et que le volume de travail et donc les honoraires étaient ainsi justifiés (Message du 21 décembre 2005 relatif à l'unification du droit de la procédure pénale, FF 2006 1312 ch. 2.10.3.1).
L'indemnisation pour frais de défense selon l'<ref-law> doit en principe être traitée avec le jugement au fond et non subséquemment comme a procédé le juge de police en l'occurrence. Cet aspect n'est toutefois pas décisif pour le sort du présent recours.
L'allocation d'une indemnité pour frais de défense selon l'<ref-law> n'est pas limitée aux cas de défense obligatoire visés par l'<ref-law>. Elle peut être accordée dans les cas où le recours à un avocat apparaît tout simplement raisonnable. Il faut garder à l'esprit que le droit pénal matériel et le droit de procédure sont complexes et représentent, pour des personnes qui ne sont pas habituées à procéder, une source de difficultés. Celui qui se défend seul est susceptible d'être moins bien loti. Cela ne dépend pas forcément de la gravité de l'infraction en cause. On ne peut pas partir du principe qu'en matière de contravention, le prévenu doit supporter en général seul ses frais de défense. Autrement dit, dans le cadre de l'examen du caractère raisonnable du recours à un avocat, il doit être tenu compte, outre de la gravité de l'infraction et de la complexité de l'affaire en fait ou en droit, de la durée de la procédure et de son impact sur la vie personnelle et professionnelle du prévenu (cf. arrêt 1B_704/2011 du 11 juillet 2012 consid. 2.3.5 destiné à la publication).
1.2 Savoir si le recours à un avocat procède d'un exercice raisonnable des droits de procédure et si, par conséquent, une indemnité pour frais de défense selon l'<ref-law> peut être allouée au prévenu, est une question de droit fédéral que le Tribunal fédéral revoit librement. Il s'impose toutefois une certaine retenue lors de l'examen de l'évaluation faite par l'autorité précédente, particulièrement de la détermination, dans le cas concret, des dépenses qui apparaissent raisonnables (arrêt 1B_704/2011 du 11 juillet 2012 consid. 2.3.6 destiné à la publication).
1.3 La cour cantonale a retenu que le recourant était prévenu d'une infraction mineure à la LCR, qui constituait une contravention. Celle-ci avait été sanctionnée d'une amende de 250 fr. (avant d'être annulée) soit un montant peu élevé. Ce montant était à tout le moins ordinaire en la matière, tout comme il était ordinaire qu'une personne soit confrontée, au moins une fois dans sa vie, à une procédure pénale pour un cas de peu de gravité comme celui-ci. Elle a souligné qu'une procédure pénale, même d'une ampleur quasi anodine comme celle en cause, pouvait revêtir une importance plus particulière pour le recourant, âgé de 84 ans. Ce fait à lui seul ne rendait cependant pas la présence d'un avocat indispensable. Le recourant avait été à même de s'occuper seul de la procédure administrative relative à un éventuel retrait du permis ou de toute autre sanction administrative. Ses écrits étaient clairs et bien rédigés. Ils avaient d'ailleurs eu une influence positive sur la décision de la Commission des mesures administratives, qui avait classé l'affaire. Le recourant était au bénéfice d'une formation supérieure (professeur, docteur). Il n'avait ainsi pas besoin d'une aide particulière pour le cas d'espèce. L'opposition à une ordonnance pénale n'avait pas à être motivée, de sorte que des connaissances juridiques particulières n'étaient pas nécessaires. En outre, les arguments qui avaient aboutis à l'acquittement du prévenu étaient de pur fait, que même une personne non-juriste pouvait maîtriser sans une assistance juridique.
1.4 Le recourant soutient que le fait d'avoir obtenu gain de cause devant la Commission des mesures administratives le conduisait nécessairement à recueillir les conseils d'un avocat et à obtenir son assistance, après avoir constaté que le préfet n'avait pas apprécié la situation de la même manière. Une différence devrait être faite entre le cas où le prévenu comparaissait pour la première fois devant l'autorité et celui où il comparaissait devant un tribunal après opposition. Le recourant avait des raisons de penser que si un magistrat l'avait condamné il avait impérativement besoin de l'assistance d'un avocat.
Le recourant n'expose pas pour quelle raison la décision en sa faveur de la Commission des mesures administratives rendait nécessaire l'assistance d'un avocat face à la décision du préfet et on peine à comprendre la relation de cause à effet entre ces deux événements. Bien plutôt, le fait d'avoir obtenu satisfaction devant l'autorité administrative, sans recours à un avocat, devait conforter le recourant dans l'idée de son bon droit. Contrairement à ce qu'il soutient, il n'est pas déterminant qu'il ait dû faire opposition à l'ordonnance pénale du préfet. En effet, comme l'a souligné la cour cantonale, l'opposition n'avait pas à être motivée. Cette démarche ne présentait aucune difficulté procédurale. Le recourant a obtenu gain de cause devant le juge de première instance pour des questions de fait, ne nécessitant aucune connaissance juridique. Sa cause ne présentait pas de difficulté de droit pénal matériel. En d'autres termes, la gravité de l'infraction était minime (contravention LCR), l'affaire n'était complexe ni en fait, ni en droit et l'impact de celle-ci était extrêmement limité dès lors que le recourant ne risquait plus un retrait de permis, que l'amende à laquelle il était exposé était modeste et que, comme l'a souligné la cour cantonale, il était ordinaire qu'une personne soit confrontée, au moins une fois dans sa vie, à une procédure pénale pour un cas de peu de gravité en matière de LCR. La cour cantonale n'a ainsi pas violé le droit fédéral en refusant d'indemniser le recourant pour ses frais de défense.
2. Au vu de ce qui précède, le recours doit être rejeté. Le recourant, qui succombe, supporte les frais judiciaires (<ref-law>). Il n'y a pas lieu d'allouer de dépens au Ministère public (68 al. 3 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, arrêtés à 2000 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton de Fribourg, Cour d'appel pénal.
Lausanne, le 1er novembre 2012
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président: Mathys
La Greffière: Livet