Faits:
A. P._ exerçait l'activité d'ouvrier-monteur et a été licencié avec effet à fin octobre 2002 en raison d'une restructuration de l'entreprise dans laquelle il travaillait. Souffrant d'un syndrome cervical droit algique, d'arthrose cervicale, d'une tendinobursite sous-acromiale de l'épaule droite et d'un syndrome anxieux avec somatisation, il a déposé, le 19 décembre 2002, une demande de prestations de l'assurance-invalidité. Il a été mis au bénéfice d'une mesure de reclassement en qualité d'aide-comptable auprès du Centre X._, laquelle a eu lieu du 17 janvier 2005 au 31 juillet 2007, a été prolongée de six mois en raison de périodes d'incapacité de travail et a été couronnée de succès. L'administration a examiné le droit à une rente d'invalidité et, dans un projet de décision du 30 juillet 2007, a retenu que l'assuré était à même de travailler à la journée entière comme aide-comptable, avec un rendement normal et en réalisant un revenu supérieur à son ancien salaire d'ouvrier-monteur. Par décision du 7 novembre 2007, l'Office cantonal AI du Valais (ci-après: l'OAI) a confirmé le refus du droit à une rente d'invalidité.
B. Saisi d'un recours contre cette décision, dans lequel P._ se prévalait du fait que ses ennuis de santé occasionnaient des incapacités de travail répétées, qui conduisaient à une diminution du rendement de 50 %, et dans lequel il concluait à l'octroi d'un quart de rente, le Tribunal cantonal des assurances du canton du Valais l'a rejeté par jugement du 4 août 2008.
C. Contre ce jugement, P._ interjette un recours en matière de droit public en concluant, sous suite de frais et dépens, principalement à la mise au bénéfice d'un quart de rente et, subsidiairement, au renvoi du dossier à l'OAI afin de mettre sur pied une expertise médicale tendant à établir son taux de rendement dans une activité adaptée.
Le Tribunal fédéral a renoncé à procéder à un échange d'écritures.

Considérant en droit:
1. Le recours en matière de droit public (art. 82 ss LTF) peut être formé pour violation du droit selon l'art. 95 sv. LTF. Le Tribunal fédéral statue en principe sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF), sous réserve des cas prévus à l'art. 105 al. 2 LTF. Cette disposition lui donne la faculté de rectifier ou compléter d'office l'état de fait de l'arrêt attaqué dans la mesure où des lacunes ou erreurs dans celui-ci lui apparaîtraient d'emblée comme manifestes. Quant au recourant, il ne peut critiquer la constatation des faits importants pour le jugement en cause que si ceux-ci ont été constatés en violation du droit au sens de l'art. 95 LTF ou de manière manifestement inexacte (art. 97 al. 1 LTF), ou lorsque l'appréciation des preuves est arbitraire (<ref-ruling> consid. 4.3 p. 62, 120 Ia 31 consid. 4b p. 40, 118 Ia 28 consid. 1b p. 30).
2. Le litige porte sur le droit du recourant à une rente d'invalidité. A cet égard, le jugement entrepris expose correctement les règles légales et la jurisprudence applicables au présent cas. Il suffit d'y renvoyer.
3. Sous l'angle d'une appréciation arbitraire des faits, le recourant reproche au Tribunal cantonal de s'être tenu uniquement aux conclusions prises par le docteur O._, médecin attaché au Service médical régional (SMR), pour juger de sa capacité résiduelle de travail dans l'activité adaptée d'aide-comptable. Il fait valoir que, si d'une part il n'a jamais contesté cette capacité de travail, c'est en revanche à tort que l'OAI et les premiers juges ont admis qu'un plein rendement peut être exigé dans l'activité adaptée en question. Il soutient que le médecin du SMR ne s'est pas formellement exprimé sur le rendement possible dans l'activité d'aide-comptable et que la possibilité d'un rendement complet n'a jamais été constatée médicalement. Il fonde son argument sur le fait que, dans le rapport du Centre X._ du 7 juin 2007, il est clairement fait état d'une diminution importante de son rendement. En outre, il souligne que le docteur D._, médecin traitant du recourant, a expressément relevé, dans les rapports du 5 mars et 3 septembre 2007, que son état de santé induira des absences répétées au travail, de sorte que son rendement sera diminué d'environ 50 % pour une raison médicalement attestée. Il reproche au Tribunal cantonal de ne pas avoir tenu compte de l'avis du médecin traitant et du fait que les conclusions de l'OAI sont incomplètes dans la mesure où le docteur O._, du SMR, ne s'est pas prononcé sur le problème du rendement dans l'activité d'aide-comptable exercée à plein temps. Le recourant en déduit que, après comparaison des revenus, un degré d'invalidité de l'ordre de 45 % doit lui être reconnu.
3.1 Selon l'art. 6 LPGA, est réputée incapacité de travail toute perte, totale ou partielle, de l'aptitude de l'assuré à accomplir dans sa profession ou son domaine d'activité le travail qui peut raisonnablement être exigé de lui, si cette perte résulte d'une atteinte à sa santé physique, mentale ou psychique. En cas d'incapacité de travail de longue durée, l'activité qui peut être exigée de lui peut aussi relever d'une autre profession ou d'un autre domaine d'activité. Pour pouvoir calculer le degré d'invalidité, l'administration (ou le juge, s'il y a eu un recours) a besoin de documents que le médecin doit lui fournir. La tâche du médecin consiste à porter un jugement sur l'état de santé et à indiquer dans quelle mesure et pour quelles activités l'assuré est incapable de travailler. En outre, les données médicales constituent un élément utile pour déterminer quels travaux on peut encore, raisonnablement, exiger de l'assuré (<ref-ruling> consid. 4, 115 V 134 consid. 2, 114 V 314 consid. 3c, 105 V 158 consid. 1).
3.2 La juridiction cantonale s'est fondée essentiellement sur l'expertise médicale du docteur O._, spécialiste en médecine physique et réadaptation au SMR, établie le 9 mai 2007. Le recourant erre, lorsqu'il pense que le médecin du SMR ne se serait exprimé que sur sa capacité de travail dans l'activité adaptée d'aide-comptable, mais qu'il ne se serait pas prononcé sur la question du rendement dans cette activité. En effet, la question du rendement exigible dans une activité déterminée fait partie intégrante de la notion de capacité de travail, la tâche du médecin consistant aussi à examiner le rendement possible dans une activité donnée et à déterminer quels travaux peuvent encore être raisonnablement exigés de l'assuré (consid. 3.1).
Dans le cas d'espèce, le docteur O._, en portant son jugement sur l'état de santé de l'assuré et en indiquant dans quelle mesure et pour quelle activité le recourant est capable de travailler à plein temps, a en même temps attesté qu'un plein rendement peut être exigé du recourant dans l'activité adaptée d'aide-comptable, profession acquise suite à la mise au bénéfice d'une mesure de reclassement couronnée de succès.
3.3 L'OAI a accordé au recourant des mesures d'orientation professionnelle sous la forme de différents stages auprès du Centre X._. Dans les rapports de synthèse du Centre, il a notamment été mentionné qu'en raison d'infiltrations auxquelles l'assuré avait dû se soumettre régulièrement, son taux de présence moyen sur l'année était de 70 %, que cela conduisait à une baisse significative du rendement et qu'il présentait ainsi un taux de rendement de 50 % sur un taux de présence du 80 % maximum. Toutefois, ces rapports reflètent les constatations faites durant les stages en question, reproduisent le comportement du recourant durant cette période et n'ont pas pour objet les mêmes observations que celles du médecin, lequel exprime un point de vue objectif sur la capacité de travail de l'assuré et tient compte également des possibilités de rendement de celui-ci. Dans ces conditions, les premiers juges pouvaient admettre, en se basant sur le rapport établi par le docteur O._ le 9 mai 2007 et sans procéder à une appréciation arbitraire des preuves, que le recourant dispose d'une capacité de travail entière, sans diminution de rendement notable, n'atteignant de toute façon pas le seuil de 40 % nécessaire pour fonder le droit à la rente (art. 28 al. 1 LAI).
3.4 Le recourant reproche également aux premiers juges de n'avoir pas pris en considération les conclusions auxquelles était parvenu le docteur D._ dans ses rapports du 5 mars et 3 septembre 2007. A son avis, rien n'autorisait le Tribunal cantonal à les rejeter au seul motif que ce dernier est son médecin traitant. Ce grief est lui aussi mal fondé. En effet, au vu de la divergence consacrée par la jurisprudence entre un mandat thérapeutique et un mandat d'expertise (<ref-ruling> consid. 4 p. 175; arrêt 9C_94/2009 du 29 avril 2009 consid. 3.3 et les arrêts cités), on ne saurait remettre en cause une expertise ordonnée par l'administration ou un juge et procéder à de nouvelles investigations du seul fait qu'un ou plusieurs médecins traitants ont une opinion contradictoire. On ne peut dès lors reprocher à la juridiction cantonale d'avoir fondé, de manière arbitraire, ses conclusions sur l'opinion du docteur O._, plutôt que sur celles du docteur D._.
4. Le recourant, qui succombe, supportera les frais judiciaires afférents à la présente procédure (art. 66 al. 1, 1ère phrase, LTF).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué aux parties, au Tribunal cantonal des assurances du canton du Valais et à l'Office fédéral des assurances sociales.
Lucerne, le 27 mai 2009
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président: Le Greffier:
Meyer Scartazzini