Faits :
A.
A._, né le 19 mai 1990, a déposé une demande de prestations auprès de l'Office de l'assurance-invalidité pour le canton de Vaud (ci-après: l'office AI) le 25 juillet 2013, en raison d'une décompensation de troubles psychotiques survenue en août 2011 et l'ayant contraint à interrompre sa formation le 25 octobre 2011. Par décisions des 23 juillet et 4 septembre 2014, l'office AI lui a octroyé une rente entière extraordinaire dès le 1 er janvier 2014.
B.
L'assuré a déposé un recours contre cette décision auprès de la Cour des assurances sociales du Tribunal cantonal du canton de Vaud, qui l'a débouté par jugement du 3 août 2015.
C.
A._ interjette un recours en matière de droit public contre ce jugement dont il demande l'annulation. Il conclut en substance à l'octroi d'une rente entière extraordinaire, plus élevée conformément à l'<ref-law>, dès le 1er janvier 2014.

Considérant en droit :
1.
Le recours en matière de droit public (<ref-law>) peut être formé pour violation du droit (circonscrit par les art. 95 et 96 LTF), y compris pour violation des droits fondamentaux. Le Tribunal fédéral applique le droit d'office (<ref-law>). Il n'est limité ni par l'argumentation de la partie recourante ni par la motivation de l'autorité précédente. Il statue sur la base des faits retenus par celle-ci (<ref-law>). Il n'examine en principe que les griefs motivés (<ref-law>), surtout s'ils portent sur la violation des droits fondamentaux (<ref-law>). Il ne peut pas aller au-delà des conclusions des parties (<ref-law>).
2.
Le litige porte uniquement sur la question de l'application de l'<ref-law>, qui prévoit d'augmenter le montant des rentes extraordinaires octroyées aux personnes «devenues invalides» avant le 1er décembre de l'année suivant celle au cours de laquelle elles ont atteint 20 ans révolus. Il s'agit en particulier de déterminer si l'invalidité du recourant est survenue avant ou après le 1 er décembre 2011.
3.
3.1. La juridiction cantonale a considéré que l'invalidité était survenue le 25 octobre 2012, soit douze mois après que l'assuré avait interrompu sa formation en raison de son état de santé.
3.2. Le recourant soutient quant à lui que l'invalidité est survenue au plus tard le 25 octobre 2011, soit au moment même où il a interrompu sa formation.
4.
Conformément à ce qu'ont considéré les premiers juges, le recourant confond la notion de la survenance de l'invalidité (art. 4 al. 2 et 28 al. 1 let. b LAI) avec celle de la définition de l'invalidité (<ref-law>). Le 25 octobre 2011, le recourant a interrompu sa formation en raison de troubles psychotiques; il s'agit là du début de son incapacité de travail, ce qui n'est pas contesté. En revanche, contrairement à ce qu'il invoque, cette date ne correspond pas au moment de la «survenance de l'invalidité», qu'il s'agit en l'espèce de déterminer, comme l'a justement expliqué la juridiction cantonale (application par analogie des art. 36 et 37 al. 2 LAI; cf. arrêt 9C_378/2010 du 21 novembre 2011 consid. 2). D'après l'<ref-law>, l'invalidité est réputée survenue dès qu'elle est, par sa nature et sa gravité, propre à ouvrir droit aux prestations entrant en considération. L'<ref-law> prévoit que l'assuré a droit à une rente à la condition notamment qu'il a présenté une incapacité de travail d'au moins 40% en moyenne durant une année sans interruption notable. En l'occurrence, l'invalidité est donc survenue le 25 octobre 2012. Quant à l'<ref-law> invoqué par le recourant, les premiers juges ont à juste titre considéré que la survenance de l'invalidité était indépendante de la date du dépôt de la demande de prestations, déterminante pour le début du versement de la rente mais pas pour l'examen des conditions d'octroi de cette prestation, qu'il s'agisse d'une rente ordinaire ou extraordinaire. La juridiction cantonale a en outre rappelé que le but explicite d'une rente augmentée au regard de l'<ref-law> était de privilégier les personnes infirmes depuis leur naissance ou leur enfance (cf. Message du 24 octobre 1958 relatif à un projet de loi sur l'assurance-invalidité, FF 1958 II 1229 et 1295 s.). En l'espèce, le recourant n'est devenu infirme qu'en 2011, donc après l'âge de vingt ans révolus, âge qu'il avait déjà atteint en 2010.
Au vu de ce qui précède, l'invalidité est survenue après le 1 er décembre 2011, soit après le 1 er décembre de l'année suivant celle au cours de laquelle le recourant a atteint l'âge de vingt ans révolus. Par conséquent, l'art. 40 al. 3 ne s'applique pas, de sorte que le montant de la rente entière extraordinaire ne doit pas être recalculé en tenant compte de cette disposition.
5.
Mal fondé, le recours doit être rejeté selon la procédure simplifiée de l'<ref-law>.
6.
Vu l'issue du litige, les frais judiciaires sont mis à la charge du recourant (art. 66 al. 1 première phrase LTF) qui ne peut prétendre des dépens (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties, au Tribunal cantonal du canton de Vaud, Cour des assurances sociales, et à l'Office fédéral des assurances sociales.
Lucerne, le 14 décembre 2015
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
La Présidente : Glanzmann
La Greffière : Flury