Faits :
A.
A._, né en 1984, a été inscrit comme étudiant régulier à l'université B._ d'octobre 2005 à juillet 2012.
Le 28 décembre 2017, l'assuré a informé la Caisse cantonale vaudoise de compensation AVS (ci-après: la caisse de compensation) qu'il n'avait pas réalisé de revenu durant l'année 2017 et lui a demandé, notamment, de lui confirmer qu'il n'existait pas de lacune de cotisations pour les années durant lesquelles il avait été soumis à l'obligation de cotiser. Un échange de correspondances s'en est suivi entre les parties, à l'issue duquel la caisse de compensation a fixé par décisions provisoires du 5 mars 2018 les cotisations personnelles de l'assuré pour les années 2017 et 2018. Le 12 mars 2018, la caisse de compensation a transmis à A._ un extrait de son compte individuel, dont il ressortait que l'intéressé avait cotisé en qualité de personne sans activité lucrative de 2005 à 2011, puis de 2014 à 2016, ainsi que sur la base d'indemnités de chômage et d'une activité salariée en 2013. Elle lui a précisé qu'il existait une lacune de cotisations pour l'année 2012, mais qu'elle n'était pas en mesure de procéder à son affiliation pour ladite année, au vu de la "prescription quinquennale".
Par décision du 19 juillet 2018, confirmée sur opposition le 5 septembre suivant, la caisse de compensation a refusé d'affilier A._ pour l'année 2012 et de fixer les cotisations afférentes à cette année. En bref, elle a considéré que le délai de cinq ans prévu par l'art. 16 al. 1 LAVS est un délai intangible de péremption, à l'issue duquel la créance de cotisation pour l'année 2012 s'était éteinte le 31 décembre 2017.
B.
Statuant le 30 avril 2019 sur le recours formé par A._ contre la décision sur opposition du 5 septembre 2018, la Cour des assurances sociales du Tribunal cantonal du canton de Vaud l'a rejeté.
C.
A._ interjette un recours en matière de droit public contre ce jugement dont il demande l'annulation. Il conclut à la constatation de son droit de verser les cotisations AVS/AI/APG dues pour l'année 2012 et à ce qu'ordre soit donné à la caisse de compensation de lui notifier une décision portant sur les cotisations AVS/AI/APG pour ladite année.

Considérant en droit :
1.
Le recours en matière de droit public peut être interjeté pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (art. 106 al. 1 LTF). Il statue par ailleurs sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF), sauf s'ils ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'art. 95 LTF (art. 105 al. 2 LTF). Le recourant qui entend s'en écarter doit expliquer de manière circonstanciée en quoi les conditions de l'art. 105 al. 2 LTF sont réalisées sinon un état de fait divergent ne peut pas être pris en considération.
2.
Le litige a trait à l'affiliation rétroactive du recourant à l'AVS/AI/APG pour l'année 2012 en sa qualité de personne sans activité lucrative, ainsi qu'à la fixation et à la perception des cotisations qui en découleraient. Compte tenu des conclusions et motifs du recours, il s'agit de déterminer si la juridiction de première instance était fondée à nier le droit de l'assuré de combler la lacune de cotisations afférente à cette année-là.
On rappellera que les personnes sans activité lucrative sont tenues de payer des cotisations à compter du 1er janvier de l'année qui suit la date à laquelle elles ont eu 20 ans (art. 3 al. 1, 2e phrase, LAVS) et que les cotisations dont le montant n'a pas été fixé par voie de décision dans un délai de cinq ans à compter de la fin de l'année civile pour laquelle elles sont dues ne peuvent plus être exigées ni versées (art. 16 al. 1, 1e phrase, LAVS).
3.
3.1. Le recourant revendique le droit de combler la lacune de cotisations pour l'année 2012 en faisant valoir que le délai de l'art. 16 al. 1 LAVS est un délai de prescription qu'il aurait valablement interrompu par son courrier du 28 décembre 2017. De plus, à supposer qu'il s'agisse d'un délai de péremption, ce même courrier aurait également eu un effet interruptif.
3.2. Selon la jurisprudence constante du Tribunal fédéral, rappelée par la juridiction cantonale, l'art. 16 al. 1 LAVS prévoit un délai de péremption, qui ne peut être ni suspendu ni interrompu. Ainsi, soit le délai est sauvegardé par une décision fixant le montant des cotisations dues notifiée dans un délai de cinq ans à compter de la fin de l'année civile concernée, soit il n'est pas sauvegardé, avec pour conséquence que les cotisations ne peuvent plus être ni exigées ni versées (<ref-ruling> consid. 4c p. 7; <ref-ruling>). Dans cette seconde hypothèse, il ne subsiste aucune obligation naturelle susceptible d'être exécutée volontairement ou par compensation (arrêt 9C_741/2009 du 12 mars 2010 consid. 1.2 et les références).
3.3. En ce qui concerne tout d'abord l'argumentation du recourant selon laquelle il aurait valablement interrompu le délai quinquennal de l'art. 16 al. 1 LAVS par sa correspondance du 28 décembre 2017, elle n'est pas pertinente compte tenu des caractéristiques du délai de péremption prévu par cette disposition. Il en va de même de la référence qu'il fait à la jurisprudence relative aux art. 24 et 29 LPGA s'agissant des effets d'une annonce par la personne assurée à l'assurance sociale puisque l'art. 16 al. 1 LAVS prévoit clairement la sauvegarde du délai au moyen de la décision fixant les cotisations; il n'y a pas de place pour une interruption du délai en cause par une annonce émanant de l'assuré. Par ailleurs, le recourant ne met en évidence aucun élément parlant en faveur d'une modification de la jurisprudence; à l'inverse de ce qu'il prétend, lors de la modification de l'art. 16 LAVS entrée en vigueur au 1er janvier 2012, le législateur a maintenu un délai de péremption à l'al. 1 (Message relatif à la modification de la loi fédérale sur l'assurance-vieillesse et survivants [LAVS] du 3 décembre 2010, FF 2011 519, ch. 2.1 p. 532).
4.
4.1. Se prévalant ensuite du droit à la protection de la bonne foi, le recourant fait essentiellement valoir qu'au moment où la caisse de compensation a réceptionné le courrier qu'il lui avait adressé le 28 décembre 2017, elle "aurait, si elle l'avait voulu, parfaitement pu rendre une décision [fixant le montant des cotisations dues pour l'année 2012] avant l'échéance du délai de 5 ans".
4.2. En l'espèce, il ressort des constatations cantonales - qui ne sont pas remises en cause par le recourant - que la correspondance du 28 décembre 2017 est parvenue à la caisse de compensation le lendemain, soit le vendredi 29 décembre 2017. Or dans la mesure où, en 2017, le 31 décembre a coïncidé avec un dimanche, la sauvegarde du délai quinquennal de péremption (de l'art. 16 al. 1 LAVS) impliquait donc que la caisse intimée rendît une décision le vendredi 29 décembre 2017 au plus tard, soit le jour où elle a réceptionné la correspondance de l'assuré. Sous l'angle du principe de la bonne foi, on ne voit pas qu'il existe une exigence de l'administration de rendre une décision le jour même où elle est sollicitée. Sous l'angle du principe de la célérité prévu par l'art. 29 al. 1 Cst., on exige de l'autorité qu'elle rende les décisions qu'il lui incombe de prendre dans le délai prescrit par la loi ou dans un délai que la nature de l'affaire ainsi que toutes les autres circonstances font apparaître comme raisonnable (<ref-ruling> consid. 1.1 p. 409; <ref-ruling> consid. 5.1 p. 331; <ref-ruling> consid. 1.2 p. 416 et les arrêts cités). Indépendamment de savoir ce qu'est un délai raisonnable dans le présent cas, il est évident qu'un délai d'un jour ouvrable ne l'est pas. Au demeurant, comme l'a constaté la juridiction cantonale, le courrier du 28 décembre 2017 du recourant ne comportait pas la demande qu'une décision fût rendue sur d'éventuelles lacunes de cotisations.
On ne saurait pas non plus voir une "insécurité juridique" ou une "inégalité de traitement" dans le fait que certaines caisses de compensation répondent plus vite que d'autres aux demandes des assurés. Le recourant n'invoque aucune disposition légale qui fixerait un délai uniforme qui imposerait aux caisses d'agir toutes dans le même délai.
Quant à l'argumentation de l'assuré selon laquelle l'intimée l'aurait induit en erreur en utilisant le terme de "prescription" dans sa correspondance du 12 mars 2018, elle se révèle également vaine sous l'angle d'une violation des règles de la bonne foi, dès lors déjà qu'au moment où la caisse de compensation a utilisé ce terme pour la première fois, le délai de péremption de l'art. 16 al. 1 LPGA était déjà échu.
4.3. Finalement, le recourant se fonde sur l'"inactivité" de l'intimée - elle ne lui a pas notifié de décision de cotisations pour l'année 2012 à l'époque des faits, alors qu'elle avait réclamé des cotisations pour les années précédentes - pour en déduire un droit à combler la lacune de cotisations de 2012. A cet égard, selon la jurisprudence, une lacune de cotisation ne peut plus être réparée, quand bien même elle serait imputable à une faute ou une erreur de l'administration, sous réserve du droit à la protection de la bonne foi (<ref-ruling> consid. 2a p. 155 et 3c p. 157; arrêt 9C_462/2015 du 5 août 2015 consid. 2 et les références). Or, même à supposer que l'intimée aurait dû rendre une décision en 2012, on ne voit pas que les conditions auxquelles un assuré peut se prévaloir du principe de la protection de la bonne foi soient réalisées (cf., p. ex., <ref-ruling> consid. 3.6.2 p. 193). La seule affirmation d'une violation de ce principe ne suffit pas.
5.
En conséquence de ce qui précède, en confirmant le refus de la caisse de compensation d'affilier le recourant pour l'année 2012, et partant, de fixer et percevoir les cotisations AVS/AI/APG afférentes à cette année, la juridiction cantonale n'a nullement violé le droit fédéral. Le recours est mal fondé.
6.
Vu l'issue de la procédure, les frais judiciaires y afférents sont mis à la charge du recourant (art. 66 al. 1 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties, au Tribunal cantonal du canton de Vaud, Cour des assurances sociales, et à l'Office fédéral des assurances sociales.
Lucerne, le 25 septembre 2019
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
La Présidente : Pfiffner
La Greffière : Perrenoud