Faits : A. Par décisions des 1 eret 16 décembre 2014, la Caisse cantonale vaudoise de compensation AVS (ci-après: la caisse de compensation) a fixé les cotisations personnelles dues par A._ du 1 er juillet au 31 décembre 2010 à 4'193 fr. 10, du 1 er janvier au 31 décembre 2011 à 8'551 fr. et du 1 er janvier au 31 juillet 2012 à 7'175 francs. Elle a également facturé des intérêts moratoires au taux de 5 % l'an sur chacun de ces trois montants, par 612 fr. 10 du 1 er janvier 2012 au 1 er décembre 2014, 838 fr. 45 du 1 er janvier 2013 au 16 décembre 2014 et 344 fr. 80 du 1 er janvier au 16 décembre 2014. Le 15 décembre 2014, l'assuré a formé opposition contre ces décisions, contestant le taux d'intérêts facturés. Par décision sur opposition du 5 janvier 2015, la caisse de compensation a rejeté l'opposition de A._. B. L'assuré a déféré cette décision devant le Tribunal cantonal du canton de Vaud, Cour des assurances sociales. Par jugement du 27 mai 2015, la juridiction cantonale a rejeté le recours et confirmé la décision du 5 janvier 2015. C. A._ forme un recours en matière de droit public contre ce jugement. Après que le Tribunal fédéral l'a invité, par ordonnance du 3 août 2015, à remédier aux irrégularités constatées, l'assuré a complété son recours par écriture du 24 août 2015. Il demande l'annulation du jugement cantonal et conclut en substance à ce qu'un taux d'intérêts de 3 % lui soit appliqué pour la période courant du 1er janvier 2012 au 16 décembre 2014.