Faits :
A.
Par décision du 16 août 1996, le Juge civil du district de U._ (Nicaragua) a prononcé l'adoption de l'enfant B._, né en 1994, par les citoyens suisses non mariés A._, né en 1952, et C._, née en 1959. Cette adoption pouvant être reconnue en Suisse, l'enfant a été inscrit dans le registre des familles de ses parents et a acquis le droit de cité de sa mère (communication de l'Etat civil cantonal vaudois en 1997). Le 18 mai 2000, le Juge de paix du cercle de Lausanne a attribué à C._ et à A._ l'autorité parentale conjointe sur leur fils.
Le 15 juillet 2015, A._ a demandé le versement anticipé d'une rente ordinaire de vieillesse auprès de la Caisse cantonale vaudoise de compensation AVS (ci-après: la caisse de compensation). Par décision du 1 er octobre 2015, confirmée sur opposition le 18 novembre 2015, la caisse a fixé le montant de la prestation mensuelle à 1'576 fr. dès le 1 er novembre 2015. Elle a en particulier nié le droit de l'assuré à des bonifications pour tâches éducatives avant le prononcé du 18 mai 2000.
B.
Statuant le 3 mars 2017, le Tribunal cantonal du canton de Vaud, Cour des assurances sociales, a rejeté le recours formé par l'assuré contre cette décision.
C.
A._ forme un recours en matière de droit public contre ce jugement. Il conclut à sa réforme en ce sens qu'il a droit à des bonifications pour tâches éducatives par moitié pour les années 1997 à 2000 et que le montant de sa rente de vieillesse doit être recalculé en conséquence. Subsidiairement, il demande le renvoi de la cause à l'autorité précédente, respectivement à la caisse de compensation, pour qu'elle rende une nouvelle décision.
La caisse de compensation conclut au rejet du recours, tandis que l'Office fédéral des assurances sociales a renoncé à se déterminer.
A._ a déposé des observations sur la réponse.

Considérant en droit :
1.
Le recours en matière de droit public peut être formé notamment pour violation du droit fédéral (<ref-law>), que le Tribunal fédéral applique d'office (<ref-law>), n'étant limité ni par les arguments de la partie recourante, ni par la motivation de l'autorité précédente. Le Tribunal fédéral fonde son raisonnement sur les faits retenus par la juridiction de première instance (<ref-law>) sauf s'ils ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law> (<ref-law>).
2.
2.1. Le litige porte sur le montant de la rente de vieillesse du recourant, en particulier sur la prise en compte dans son calcul de bonifications pour tâches éducatives dès le 1 er janvier 1997. A cet égard, le jugement entrepris expose de manière complète les dispositions légales applicables (art. 29 sexies LAVS et <ref-law> [RS 831.101]). Il suffit d'y renvoyer.
2.2. On rappellera cependant qu'aux termes de l'anc. art. 29 sexies al. 1 LAVS, dans sa version en vigueur du 1 er janvier 1997 au 31 décembre 1999, les assurés peuvent prétendre à une bonification pour tâches éducatives pour les années durant lesquelles ils exercent l'autorité parentale sur un ou plusieurs enfants âgés de moins de 16 ans. Les personnes vivant en couple marié ne peuvent prétendre à deux bonifications, cumulativement. Le Conseil fédéral règle les détails, en particulier l'attribution de la bonification pour tâches éducatives lorsque: des parents ont la garde d'enfants, sans exercer l'autorité parentale (let. a), un seul des parents est assuré auprès de l'assurance-vieillesse et survivants suisse (let. b) ou les conditions pour l'attribution d'une bonification pour tâches éducatives ne sont pas remplies pendant toute l'année civile (let. c).
3.
3.1. La juridiction cantonale a retenu que l'assuré n'avait pas droit à l'attribution de bonifications pour tâches éducatives pour les périodes d'assurance accomplies avant le mois de mai 2000. Selon la législation nicaraguayenne applicable au moment de l'adoption de B._, elle a constaté que les droits et obligations envers l'enfant incombaient aux parents vivant ensemble, mariés ou non. Cette réglementation n'avait toutefois selon les premiers juges aucune incidence dans le calcul de la rente de vieillesse de l'assuré dans la mesure où l'adoption prononcée au Nicaragua n'avait pu entraîner en Suisse des effets - notamment du point de vue du droit de la filiation - plus étendus que ceux prévus par le droit suisse. Or, selon l'anc. <ref-law>, en vigueur jusqu'au 31 décembre 1999, l'autorité parentale appartenait à la mère qui n'était pas mariée avec le père, le droit suisse ne connaissant pas l'autorité parentale conjointe pour des couples non mariés jusqu'à cette date.
3.2. Le recourant ne remet plus en cause devant le Tribunal fédéral le fait que l'adoption de son fils prononcée à l'étranger avait produit les mêmes effets qu'une adoption plénière prononcée en Suisse. Il soutient que le droit nicaraguayen, applicable selon lui en vertu de l'art. 3 de la Convention de La Haye du 5 octobre 1961 concernant la compétence des autorités et la loi applicable en matière de protection des mineurs (RS 0.211.231.01; ci-après: CLaH 61 ou la Convention), lui avait cependant attribué de plein droit l'autorité parentale conjointe. Aussi, avait-il droit à des bonifications pour tâches éducatives dès le 1 er janvier 1997, attribuées par moitié à chacun des parents, conformément à la solution prévue, à partir du 1 er janvier 2000, par l'art. 29 sexies al. 1 let. d LAVS en relation avec l'anc. art. 52f al. 2 bis RAVS.
4.
L'argumentation du recourant, qui repose en partie sur des faits non constatés par la juridiction cantonale (la nationalité nicaraguayenne de son fils), est mal fondée.
4.1. L'anc. art. 29 sexies al. 1 LAVS fait dépendre le droit à l'attribution des bonifications pour tâches éducatives de l'exercice de l'autorité parentale sur un ou plusieurs enfants (<ref-law>; <ref-ruling> consid. 2.1 p. 243; <ref-ruling> consid. 3b p. 2; <ref-ruling> consid. 2a p. 246). Lorsqu'une disposition en matière d'assurances sociales renvoie à une notion de droit civil ("l'autorité parentale"), celle-ci devient partie intégrante du droit des assurances sociales. Le cas échéant, une telle notion peut cependant avoir un sens différent du droit civil. C'est pourquoi il appartient à l'administration et, en cas de recours, au juge d'interpréter la notion de droit civil reprise dans le droit des assurances sociales. Ce faisant, ils doivent se fonder sur la portée et le but de la norme contenant un renvoi à la notion de droit civil, afin de trancher le point de savoir si la notion reprise a la même signification ou non qu'en droit civil (<ref-ruling> consid. 5.1 p. 404).
4.2. La jurisprudence fédérale n'a, à ce jour, pas eu l'occasion de se prononcer sur l'application et les effets de l'art. 3 CLaH 61 en droit des assurances sociales, qui prescrit qu'un rapport d'autorité résultant de plein droit de la loi interne de l'Etat dont le mineur est ressortissant est reconnu dans tous les Etats contractants. A cet égard, on peut douter que les prestations de l'assurance-vieillesse puissent dépendre de cette convention, qui a pour but de déterminer la compétence des autorités et la loi applicable en matière de protection des mineurs. Il n'est toutefois pas nécessaire, en l'espèce, de trancher cette question.
Quoi qu'en dise le recourant, même à supposer que l'art. 3 ClaH 61 puisse produire des effets dans le domaine des assurances sociales, le Tribunal fédéral a déjà jugé que le rattachement prévu par cette disposition doit se faire selon le critère de la nationalité effective ou prépondérante (arrêt 5C.265/2004 du 26 janvier 2005 consid. 4.1, reproduit in FamPra.ch 2005 p. 634 ss). En l'occurrence, tant l'enfant que ses père et mère possédaient la nationalité suisse et étaient domiciliés dans le canton de Vaud dès septembre 1996. La rupture définitive des liens de l'enfant avec sa famille de sang a par ailleurs été jugée dans son meilleur intérêt. Il s'ensuit que l'autorité précédente n'avait en tout état de cause pas à tenir compte de la loi nicaraguayenne pour la période d'assurance courant à partir du 1 er janvier 1997, seul le droit suisse, en tant que droit de la nationalité prépondérante, étant applicable.
4.3. Aussi, en vertu de l'anc. <ref-law>, si les parents n'étaient pas mariés, l'autorité parentale sur l'enfant mineur appartenait de plein droit à la mère jusqu'au 31 décembre 1999 (<ref-ruling> consid. 2.1 p. 243 et 3.2 p. 245), si bien que le droit du recourant à des bonifications pour tâches éducatives a pu naître au plus tôt le 18 mai 2000, date de la décision du Juge de paix du cercle de Lausanne. Aucune bonification n'est par ailleurs octroyée pour l'année de la naissance du droit (art. 52f, 2 ème phrase, RAVS).
5.
Ensuite de ce qui précède, le recours doit être rejeté. Le recourant, qui succombe, supportera les frais judiciaires afférents à la présente procédure (art. 66 al. 1, 1 ère phrase, LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties, au Tribunal cantonal du canton de Vaud, Cour des assurances sociales, et à l'Office fédéral des assurances sociales.
Lucerne, le 21 août 2017
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
La Présidente : Pfiffner
Le Greffier : Bleicker