Faits :
A.
Par décisions des 1 eret 16 décembre 2014, la Caisse cantonale vaudoise de compensation AVS (ci-après: la caisse de compensation) a fixé les cotisations personnelles dues par A._ du 1 er juillet au 31 décembre 2010 à 4'193 fr. 10, du 1 er janvier au 31 décembre 2011 à 8'551 fr. et du 1 er janvier au 31 juillet 2012 à 7'175 francs. Elle a également facturé des intérêts moratoires au taux de 5 % l'an sur chacun de ces trois montants, par 612 fr. 10 du 1 er janvier 2012 au 1 er décembre 2014, 838 fr. 45 du 1 er janvier 2013 au 16 décembre 2014 et 344 fr. 80 du 1 er janvier au 16 décembre 2014.
Le 15 décembre 2014, l'assuré a formé opposition contre ces décisions, contestant le taux d'intérêts facturés.
Par décision sur opposition du 5 janvier 2015, la caisse de compensation a rejeté l'opposition de A._.
B.
L'assuré a déféré cette décision devant le Tribunal cantonal du canton de Vaud, Cour des assurances sociales. Par jugement du 27 mai 2015, la juridiction cantonale a rejeté le recours et confirmé la décision du 5 janvier 2015.
C.
A._ forme un recours en matière de droit public contre ce jugement. Après que le Tribunal fédéral l'a invité, par ordonnance du 3 août 2015, à remédier aux irrégularités constatées, l'assuré a complété son recours par écriture du 24 août 2015. Il demande l'annulation du jugement cantonal et conclut en substance à ce qu'un taux d'intérêts de 3 % lui soit appliqué pour la période courant du 1er janvier 2012 au 16 décembre 2014.

Considérant en droit :
1.
Le recours en matière de droit public peut être formé pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (<ref-law>), n'étant limité ni par les arguments de la partie recourante, ni par la motivation de l'autorité précédente. Le Tribunal fédéral n'examine en principe que les griefs invoqués, compte tenu de l'exigence de motivation prévue à l'<ref-law>, et ne peut aller au-delà des conclusions des parties (<ref-law>). Il fonde son raisonnement sur les faits retenus par l'autorité précédente (<ref-law>) sauf s'ils ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law> (<ref-law>).
2.
Le litige porte sur le montant des intérêts moratoires sur les cotisations dues par le recourant pour la période de juillet 2010 à fin 2012, singulièrement sur le taux d'intérêts à appliquer.
3.
3.1. La juridiction cantonale a considéré que le taux d'intérêts moratoires perçus sur les créances de cotisations échues était de 5 % l'an, en application des règles légales et des principes jurisprudentiels en la matière qu'elle a dûment exposés dans le jugement entrepris, auquel on peut renvoyer.
3.2. Le recourant ne conteste pas le montant des cotisations échues qu'il a été condamné à payer à l'intimée, ni le principe selon lequel des intérêts sont dus sur ces créances. Il soutient en revanche que le taux d'intérêts devrait être de 3 % l'an, au regard de l'environnement économique actuel.
4.
Conformément à ce qu'ont retenu les premiers juges, des intérêts moratoires sont perçus sur les créances de cotisations échues, en vertu de l'<ref-law>, en relation avec les art. 41bis et 42 du Règlement du 31 octobre 1947 sur l'assurance-vieillesse et survivants (RAVS; RS 831.101). Il s'agit d'intérêts compensatoires destinés à compenser l'avantage financier que le débiteur peut tirer en raison du paiement tardif des cotisations tandis que le créancier, de son côté, subit un désavantage. Les intérêts moratoires n'ont pas un caractère pénal et sont dus indépendamment de toute faute du débiteur ou de la caisse de compensation. Le taux d'intérêts de 5 % est prévu par l'<ref-law>. Il a été fixé par le Conseil fédéral dans le cadre de la compétence qui lui a été déléguée par la loi en collaboration avec la Commission fédérale de l'AVS (cf. <ref-law>) et les commissions spécialisées, de telle manière qu'il puisse être appliqué efficacement et sans trop de formalités administratives lors de la procédure de recouvrement et de perception menée par les caisses de compensation. Contrairement à ce que voudrait le recourant, les intérêts de retard au sens de l'AVS ne sont pas à mettre en relation avec les taux d'intérêts du marché; il s'agit plutôt ici d'un taux d'intérêts "technique" (<ref-ruling> consid. 3.3.2.2 p. 305 et les références). En outre et conformément à ce qu'a relevé la juridiction cantonale, le Tribunal fédéral a confirmé à plusieurs reprises que le taux de 5 % prévu par l'<ref-law> est conforme au droit (<ref-ruling> consid. 3.3.2.1 pp. 304 s.; <ref-ruling> consid. 3.5 p. 207). Il n'y a dès lors pas lieu de s'écarter de ce taux, ce d'autant moins que l'<ref-law> prévoit également un taux d'intérêts à 5 % et est applicable, par analogie, en droit administratif comme principe juridique général en l'absence de règle particulière (<ref-ruling> consid. 3.3.3 p. 306 et les références).
Par conséquent, c'est à bon droit que les premiers juges ont confirmé le taux d'intérêts à 5 % l'an.
Manifestement mal fondé, le recours de l'assuré doit être rejeté selon la procédure simplifiée de l'<ref-law>.
5.
Vu l'issue du litige, les frais judiciaires sont mis à la charge de l'assuré (art. 66 al. 1 première phrase LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties, au Tribunal cantonal du canton de Vaud, Cour des assurances sociales, et à l'Office fédéral des assurances sociales.
Lucerne, le 22 mars 2016
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
La Présidente : Glanzmann
La Greffière : Flury