Faits:
A. T._, né en 1946, a travaillé au service de X._ dès le 1er septembre 1988 comme ouvrier puis comme chef d'équipe. Depuis le 17 septembre 2002, il a été en incapacité de travail totale en raison notamment d'un état dépressif, d'une insuffisance cardiaque et d'un diabète et a touché à ce titre des indemnités journalières pour perte de gain de la part de la Winterthur Assurances.
Le 25 février 2004, l'intéressé a déposé une demande de rente auprès de l'Office de l'assurance-invalidité du canton de Fribourg (ci-après: l'OAI). Dans le cadre de l'instruction, l'OAI a confié la réalisation d'une expertise pluridisciplinaire au Centre d'observation médicale de l'assurance-invalidité (COMAI). Dans leur rapport du 19 octobre 2004, le docteur L._, rhumatologue, le docteur B._, psychiatre, et le docteur D._, cardiologue, n'ont retenu aucun diagnostic ayant une répercussion sur la capacité de travail. En revanche, ils ont posé comme diagnostics sans répercussion sur la capacité de travail, un trouble somatoforme douloureux sans comorbidité psychiatrique, ni perte de l'intégration sociale, une hypertension artérielle (HTA) traitée et un diabète non insulino-dépendant traité.
Dans un rapport du 12 octobre 2005, le docteur R._ a fait état d'une aggravation de la dyspnée avec réapparition des opacités pulmonaires ainsi que d'une aggravation de l'atrophie neurologique du membre inférieur droit. Selon ce médecin, l'incapacité de travail restait totale. Dans un rapport du 21 janvier 2006, le docteur P._, spécialiste FMH en psychiatrie et psychothérapie, a indiqué que l'assuré présentait un état dépressif, "associé à un sentiment d'injustice à son égard et d'un échec existentiel". Tout traitement jusqu'alors s'étant montré inefficace, l'état était resté le même. Au vu des problèmes somatiques annexes et de l'âge du patient, une intégration dans le monde du travail lui paraissait illusoire. Il a conclu à une incapacité de travail de 80%.
L'OAI a soumis les rapports médicaux des docteurs R._ et P._ à son Service médical régional (SMR), lequel a conclu, le 17 février 2006, qu'aucun élément médical nouveau n'était apparu depuis l'expertise du COMAI.
Par décision du 16 février 2005, confirmée sur opposition le 7 mars 2006, l'OAI a nié le droit de l'assuré à une rente d'invalidité.
B. T._ a formé recours contre la décision sur opposition du 7 mars 2006 devant le Tribunal administratif du canton de Fribourg en concluant, sous suite de frais et dépens, principalement au renvoi de la cause à l'OAI pour instruction complémentaire sous la forme d'une nouvelle expertise médicale pluridisciplinaire et, subsidiairement, à l'octroi d'une rente entière d'invalidité. A l'appui de ses conclusions, il a fait valoir que son état de santé avait continué à se dégrader postérieurement à l'établissement du rapport du COMAI, ce qu'attestait son médecin traitant dans ses rapports des 12 octobre et 12 décembre 2005.
Par jugement du 26 juillet 2007, le Tribunal administratif a rejeté le recours.
C. T._ interjette un recours en matière de droit public contre ce jugement en concluant, principalement, à l'octroi d'une rente entière d'invalidité et, subsidiairement, au renvoi de la cause à l'instance cantonale pour instruction complémentaire et nouveau jugement.
L'OAI conclut au rejet du recours tandis que l'Office fédéral des assurances sociales ne s'est pas déterminé.
Considérant en droit:
1. Le recours en matière de droit public (art. 82 ss LTF) peut être formé pour violation du droit au sens des art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (art. 106 al. 1 LTF) et n'est donc pas limité par les arguments du recourant, ni par la motivation de l'autorité précédente. Il peut admettre un recours pour d'autres motifs que ceux allégués et rejeter un recours en adoptant une autre argumentation que celle de l'autorité précédente (ATF 130 III 136 consid. 1.4 p. 140). Il ne peut aller au-delà des conclusions des parties (art. 107 al. 1 LTF). Eu égard à l'exigence de motivation prévue à l'art. 42 al. 2 LTF, il n'examine, en principe, que les griefs invoqués, pour autant que les vices ne soient pas évidents. Il n'est pas tenu de traiter toutes les questions juridiques qui se posent, comme le ferait une autorité de première instance, lorsque celles-ci ne sont pas ou plus abordées devant lui.
1.1 Le Tribunal fédéral fonde son raisonnement sur les faits retenus par la juridiction de première instance (art. 105 al. 1 LTF), sauf s'ils ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'art. 95 LTF (art. 105 al. 2 LTF). Le recourant qui entend s'en écarter doit expliquer de manière circonstanciée en quoi les conditions de l'art. 105 al. 2 LTF sont réalisées sinon un état de fait divergent ne peut être pris en considération.
2. Le recourant fait valoir qu'en écartant l'avis de ses médecins traitants, lesquels attestaient une aggravation de son état de santé postérieurement à l'expertise du COMAI, la juridiction cantonale a procédé à une constatation manifestement inexacte et incomplète des faits au sens de l'art. 97 LTF.
3. 3.1 Se fondant sur l'expertise du COMAI, les premiers juges ont retenu que le recourant souffrait d'un trouble somatoforme douloureux sans comorbidité psychiatrique, ni perte d'intégration sociale, d'une HTA et d'un diabète traités, lesquels n'étaient pas invalidants. Ils ont considéré que les rapports médicaux établis postérieurement à l'expertise du COMAI n'étaient pas de nature à remettre en cause les conclusions de celle-ci. Faisant siennes les conclusions du SMR du 17 février 2006, la juridiction cantonale a estimé que le docteur R._ faisait état d'une aggravation de troubles préexistants sans apporter de preuve et en se basant sur des considérations diagnostiques subjectives. Son point de vue était par ailleurs sommairement motivé et restait peu convaincant au regard des atteintes physiques relativement modestes. Quant au docteur P._, son appréciation de la capacité de travail se fondait essentiellement sur des éléments étrangers à l'invalidité et se bornait à relayer les plaintes de l'assuré. Le Tribunal administratif a ainsi conclu que le recourant disposait des ressources physiques et psychiques nécessaires pour travailler sans perte de revenu dans l'activité professionnelle exercée en dernier lieu.
3.2 Contrairement à ce que prétend le recourant, les premiers juges n'ont pas écarté les rapports médicaux postérieurs à l'expertise du COMAI mais n'ont en revanche pas retenu leurs conclusions - attestant une aggravation - après discussion de ces pièces en rapport avec les autres éléments médicaux au dossier. Ces constatations n'apparaissent pas, d'autre part, avoir été établies de manière manifestement inexacte ou incomplète. Les médecins traitants du recourant, qui concluaient à une incapacité totale de travail déjà antérieurement à l'expertise du COMAI, de surcroît sur la base d'un même diagnostic, n'indiquent pas sur quelles investigations ou examens concrets repose leur appréciation divergente, laquelle paraît davantage fondée sur les plaintes du recourant que sur des constatations médicales objectives. Or, leurs confrères du COMAI avaient déjà évoqué une exagération des plaintes avec des éléments de revendication sur le plan financier et assécurologique. Partant, il n'y a pas lieu de s'écarter des faits retenus par la juridiction cantonale, ni de l'appréciation qu'elle en a faite.
Mal fondé, le recours doit par conséquent être rejeté.
4. La procédure est onéreuse (art. 62 LTF). Le recourant, qui succombe, doit en supporter les frais (art. 66 al. 1 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué aux parties, à la Cour des assurances sociales du Tribunal administratif du canton de Fribourg et à l'Office fédéral des assurances sociales.
Lucerne, le 28 août 2008
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président: La Greffière:
Meyer Fretz