Faits:
A. P._, né en 1942, a bénéficié de prestations de retraite anticipée de la prévoyance professionnelle à partir du 1er avril 2004.
Afin de savoir s'il devait verser des cotisations et de s'assurer qu'il ne serait pas prétérité au moment où il atteindrait l'âge légal de la retraite, il a rempli le 25 mars 2004 un formulaire à l'intention de la Caisse de compensation du canton du Valais (ci-après: la CCCV). Par courrier du 31 mars 2004, cette dernière l'a informé que compte tenu du fait que son épouse exerçait une activité lucrative, une affiliation en tant que personne sans activité lucrative ne s'imposait pas en ce qui le concernait, à moins d'un changement survenant dans la situation de son épouse.
Le 16 avril 2004, l'intéressé a déposé une demande pour un calcul prévisionnel des rentes. Sur la base des indications fournies et des pièces à disposition, la CCCV a informé P._ qu'il aurait droit, s'il avait atteint l'âge légal de la retraite, à une rente mensuelle de 1'705 fr. Elle a précisé que ces renseignements étaient donnés «sauf erreur ou omission» et n'engageaient nullement l'avenir.
Le 5 janvier 2007, P._ a déposé une demande de rente de vieillesse. Par décision du 14 mars 2007, la CCCV lui a alloué une rente simple d'un montant de 1'821 fr., calculée sur la base d'un revenu annuel moyen déterminant de 50'388 fr. et d'une durée de cotisations de 44 années.
P._ a formé opposition contre cette décision, reprochant à la CCCV de ne pas avoir pris en considération, au titre du revenu annuel moyen déterminant, les montants de ses rentes de la prévoyance professionnelle perçues entre 2004 et 2007.
Par décision sur opposition du 6 juin 2007, la CCCV a rejeté l'opposition.
B. P._ a recouru contre cette décision devant le Tribunal cantonal des assurances en concluant à l'octroi d'une rente AVS d'au moins 1'892 fr.
Par jugement du 26 juin 2009, le Tribunal cantonal du Valais, Cour des assurances sociales, a rejeté le recours.
C. P._ interjette un recours constitutionnel subsidiaire contre ce jugement dont il demande l'annulation, en concluant à ce que sa rente AVS soit recalculée, compte tenu d'un montant de 153'032 fr. reçu de la caisse de pension RETABAT.
Le Tribunal fédéral a renoncé à procéder à un échange d'écritures.

Considérant en droit:
1. Le litige déféré devant le tribunal cantonal porte sur le montant de la rente de vieillesse à laquelle le recourant peut prétendre. Il ne s'agit clairement pas d'une contestation pécuniaire en matière de rapports de travail de droit public ou en matière de responsabilité étatique au sens de l'<ref-law>, de sorte que c'est à tort que le recourant a choisi la voie du recours constitutionnel subsidiaire (<ref-law>). La dénomination erronée d'un recours ne nuit cependant pas à son auteur, pour autant que les conditions de recevabilité du recours qui aurait dû être interjeté soient réunies (cf. <ref-ruling> consid. 1.2 p. 382; <ref-ruling> consid. 1.2 p. 302 s.; <ref-ruling> consid. 3.1 p. 399). En l'espèce, le présent recours peut être converti en un recours en matière de droit public dès lors que les conditions de recevabilité d'un tel recours sont réunies.
2. Aux termes de l'<ref-law>, les assurés sont tenus de payer des cotisations tant qu'ils exercent une activité lucrative. Les personnes sans activité lucrative sont tenues de payer des cotisations à compter du 1er janvier de l'année qui suit la date à laquelle elles ont eu 20 ans; cette obligation cesse à la fin du mois où les femmes atteignent l'âge de 64 ans, les hommes l'âge de 65 ans. Sont réputés avoir payé eux-mêmes des cotisations, pour autant que leur conjoint ait versé des cotisations équivalant au moins au double de la cotisation minimale, notamment les conjoints sans activité lucrative d'assurés exerçant une activité lucrative (al. 3 let. a).
Selon l'<ref-law>, le calcul de la rente [ordinaire de vieillesse] est déterminé par les années de cotisations, les revenus provenant d'une activité lucrative ainsi que les bonifications pour tâches éducatives ou pour tâches d'assistance entre le 1er janvier qui suit la date où l'ayant droit a eu 20 ans révolus et le 31 décembre qui précède la réalisation du risque assuré (âge de la retraite ou décès).
L'<ref-law> prévoit que la rente est calculée sur la base du revenu annuel moyen, qui se compose des revenus de l'activité lucrative (let. a), des bonifications pour tâches éducatives (let. b) et des bonifications pour tâches d'assistance (let. c).
3. Le recourant reproche en premier lieu au tribunal cantonal de ne pas avoir pris en compte, pour fixer le revenu annuel moyen sur lequel se fonde notamment le calcul de la rente de vieillesse, les montants qu'il a perçus de sa caisse de pension RETABAT entre 2004 et 2007, soit un montant total de 153'032 fr. Le recourant ne motive cependant pas son grief de violation arbitraire de l'exemption de cotiser par une argumentation spécifique. En particulier, il n'indique pas et n'établit en tout cas pas conformément aux exigences de motivation de l'<ref-law> (cf. <ref-ruling> consid. 1.2 p. 234 et les arrêts cités) en quoi l'arrêt attaqué, de par son contenu ou sa motivation, violerait la garantie constitutionnelle qu'il invoque. Il n'y a dès lors pas lieu d'entrer en matière sur ce premier grief. On précisera toutefois qu'en invoquant un tel grief, le recourant méconnaît complètement la situation juridique dans laquelle il se trouve puisque l'exemption de payer des cotisations sur les montants perçus de sa caisse de retraite RETABAT découle directement de la réglementation prévue à l'<ref-law>, laquelle est contraignante tant pour l'administration et les tribunaux que pour le citoyen (art. 190 Cst.).
4. 4.1 Le recourant se prévaut ensuite du droit à la protection de la bonne foi. Il fait valoir que sur la base du courrier de la caisse de compensation du 31 mars 2004, il pouvait de bonne foi croire que sa rente atteindrait le montant maximal et prétend que s'il avait su qu'un tel montant ne lui était pas garanti, il aurait continué de cotiser durant les quatre années précédant l'âge légal de la retraite. Dans ce contexte, le recourant se plaint, sans invoquer formellement une violation de l'<ref-law>, de ne pas avoir été suffisamment renseigné par l'intimée.
Il y a lieu d'examiner si, en l'espèce, le recourant peut se prévaloir d'une violation du devoir de renseignement de la caisse de compensation et du droit à la protection de la bonne foi.
4.2 Les premiers juges ont écarté ce grief. Ils ont retenu que l'intimée n'avait pas promis au recourant de lui verser le montant maximal de la rente AVS. Au demeurant, ce n'étaient pas les explications de l'intimée qui avaient décidé le recourant à partir en préretraite. Celui-ci ne le prétendait d'ailleurs pas, pas plus qu'il aurait pris, sur la base des renseignements obtenus, des dispositions préjudiciables à ses intérêts et sur lesquelles il ne pouvait plus revenir.
4.3 Le devoir de conseil de l'assureur social au sens de l'<ref-law> comprend l'obligation d'attirer l'attention de la personne intéressée sur le fait que son comportement pourrait mettre en péril la réalisation de l'une des conditions du droit aux prestations (<ref-ruling> consid. 4.3 p. 480). Les conseils ou renseignements portent sur les faits que la personne qui a besoin de conseils doit connaître pour pouvoir correctement user de ses droits et obligations dans une situation concrète face à l'assureur. Le devoir de conseils s'étend non seulement aux circonstances de faits déterminantes, mais également aux circonstances de nature juridique (voir arrêt K 7/06 du 12 janvier 2007 consid. 3.3, in SVR 2007 KV no 14 p. 53 et la référence). Son contenu dépend entièrement de la situation concrète dans laquelle se trouve l'assuré, telle qu'elle est reconnaissable pour l'administration (Ulrich Meyer, Grundlagen, Begriff und Grenzen der Beratungspflicht der Sozialversicherungsträger nach Art. 27 Abs. 2 ATSG, in : Sozialversicherungsrechtstagung 2006, St-Gall 2006, p. 27 no 35).
Le défaut de renseignement dans une situation où une obligation de renseigner est prévue par la loi, ou lorsque les circonstances concrètes du cas particulier auraient commandé une information de l'assureur, est assimilé à une déclaration erronée de sa part qui peut, à certaines conditions, obliger l'autorité à consentir à un administré un avantage auquel il n'aurait pu prétendre, en vertu du principe de la protection de la bonne foi découlant de l'art. 9 Cst. (<ref-ruling> consid. 5 p. 480). D'après la jurisprudence, un renseignement ou une décision erronés de l'administration peuvent obliger celle-ci à consentir à un administré un avantage contraire à la réglementation en vigueur, à condition que (a) l'autorité soit intervenue dans une situation concrète à l'égard de personnes déterminées, (b) qu'elle ait agi ou soit censée avoir agi dans les limites de ses compétences et (c) que l'administré n'ait pas pu se rendre compte immédiatement («ohne weiteres») de l'inexactitude du renseignement obtenu. Il faut encore qu'il se soit fondé sur les assurances ou le comportement dont il se prévaut pour (d) prendre des dispositions auxquelles il ne saurait renoncer sans subir de préjudice, et (e) que la réglementation n'ait pas changé depuis le moment où l'assurance a été donnée (<ref-ruling> consid. 6.1 p. 636 s. et les références citées). Ces principes s'appliquent par analogie au défaut de renseignement, la condition (c) devant toutefois être formulée de la façon suivante: que l'administré n'ait pas eu connaissance du contenu du renseignement omis ou que ce contenu était tellement évident qu'il n'avait pas à s'attendre à une autre information (<ref-ruling> consid. 5 p. 480).
4.4 En l'espèce, à supposer que l'on admette que l'intimée a failli aux obligations découlant de l'<ref-law> dans la mesure où elle a omis de rendre le recourant attentif au fait que prendre une retraite anticipée pourrait avoir pour effet de diminuer le montant de sa rente de vieillesse, il faudrait encore, pour que le recourant puisse bénéficier de la protection de la bonne foi, qu'il existe un lien entre le renseignement (ou plutôt l'absence de renseignement) de la caisse intimée et un comportement du recourant préjudiciable à ses intérêts.
Le recourant n'a cependant jamais prétendu qu'il aurait continué de travailler jusqu'à l'âge légal de la retraite s'il avait su que le fait de prendre une retraite anticipée pouvait avoir des incidences sur le montant de sa rente AVS future. Le seul et même argument invoqué par le recourant tout au long de la procédure consistait à soutenir qu'il aurait cotisé sur les prestations perçues de la prévoyance professionnelle durant les quatre années le séparant de l'âge légal de la retraite afin d'augmenter le montant de sa rente AVS. Or, il découle des dispositions légales citées au consid. 2 supra que le recourant ne pouvait pas, quand bien même il l'aurait voulu, cotiser à l'AVS sur sa rente de la prévoyance professionnelle afin d'augmenter son revenu annuel moyen et, partant, le montant de sa rente AVS. Comme l'ont rappelé à juste titre les juges cantonaux, l'AVS n'est pas une assurance «à la carte» qui permet à celui qui y est affilié de choisir le montant de la cotisation qu'il va payer ou de verser des cotisations volontaires pour améliorer le montant des rentes futures.
4.5 Il résulte de ce qui précède que toutes les conditions auxquelles le recourant peut se prévaloir de son droit à la protection de la bonne foi en relation avec une violation du devoir de conseils de l'assureur social ne sont pas réalisées en l'espèce.
5. Entièrement mal fondé, le recours doit être rejeté. Etant donné l'issue du litige, les frais judiciaires sont mis à la charge du recourant (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué aux parties, au Tribunal cantonal valaisan, Cour des assurances sociales, et à l'Office fédéral des assurances sociales.
Lucerne, le 20 avril 2010
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président: La Greffière:
Meyer Fretz