Faits : A. Par décision du 16 août 1996, le Juge civil du district de U._ (Nicaragua) a prononcé l'adoption de l'enfant B._, né en 1994, par les citoyens suisses non mariés A._, né en 1952, et C._, née en 1959. Cette adoption pouvant être reconnue en Suisse, l'enfant a été inscrit dans le registre des familles de ses parents et a acquis le droit de cité de sa mère (communication de l'Etat civil cantonal vaudois en 1997). Le 18 mai 2000, le Juge de paix du cercle de Lausanne a attribué à C._ et à A._ l'autorité parentale conjointe sur leur fils. Le 15 juillet 2015, A._ a demandé le versement anticipé d'une rente ordinaire de vieillesse auprès de la Caisse cantonale vaudoise de compensation AVS (ci-après: la caisse de compensation). Par décision du 1 er octobre 2015, confirmée sur opposition le 18 novembre 2015, la caisse a fixé le montant de la prestation mensuelle à 1'576 fr. dès le 1 er novembre 2015. Elle a en particulier nié le droit de l'assuré à des bonifications pour tâches éducatives avant le prononcé du 18 mai 2000. B. Statuant le 3 mars 2017, le Tribunal cantonal du canton de Vaud, Cour des assurances sociales, a rejeté le recours formé par l'assuré contre cette décision. C. A._ forme un recours en matière de droit public contre ce jugement. Il conclut à sa réforme en ce sens qu'il a droit à des bonifications pour tâches éducatives par moitié pour les années 1997 à 2000 et que le montant de sa rente de vieillesse doit être recalculé en conséquence. Subsidiairement, il demande le renvoi de la cause à l'autorité précédente, respectivement à la caisse de compensation, pour qu'elle rende une nouvelle décision. La caisse de compensation conclut au rejet du recours, tandis que l'Office fédéral des assurances sociales a renoncé à se déterminer. A._ a déposé des observations sur la réponse.