Faits:
A.
M._ a requis le 3 décembre 2004 des prestations de l'Office de l'assurance-invalidité pour le canton de Vaud (l'office AI). Il a notamment indiqué avoir subi un trouble crânio-cérébral pour lequel il s'était annoncé auprès de la SUVA. Me Jean-Michel Duc, avocat, a fait savoir à l'administration par courrier du 28 janvier 2008 assorti d'une procuration qu'il représentait désormais l'assuré et que celui-ci faisait élection de domicile en son étude.
Le 20 juin 2011, l'office AI a informé directement M._ qu'il envisageait de lui octroyer une rente entière du 1er avril 2005 au 31 mai 2011 puis un trois quarts de rente à partir du 1er juin 2011 et a transmis une copie de ce projet de décision à Me Duc. Ce dernier envoi lui a été retourné avec la mention "A déménagé; délai de réexpédition expiré". Par courriers du 5 juillet 2011, l'avocat précité a communiqué à l'administration sa nouvelle adresse et fait valoir des objections à l'encontre dudit projet. L'office AI les a rejetées par courrier du 4 octobre 2011, dans lequel il a averti Me Duc qu'une décision lui serait prochainement notifiée. Le 21 novembre 2011, l'administration a communiqué directement à M._ une décision lui reconnaissant dès le 1er novembre précédent le droit à un trois quart de rente.
Me Duc a requis de l'office AI par courrier du 17 janvier 2012 une copie du dossier de son client. Le 23 janvier suivant, il a indiqué à l'administration qu'il avait constaté à la lecture de celui-ci l'existence d'une décision rendue le 21 novembre 2011, dépourvue de l'indication des voies de droit, qui ne lui avait pas été notifiée, et a demandé qu'une décision lui soit adressée en bonne et due forme. L'office AI lui a répondu le 26 janvier 2012 que la Caisse cantonale vaudoise de compensation lui notifierait une décision après avoir obtenu des informations de la SUVA. Il a joint à ce courrier une lettre adressée le 18 janvier précédent à cette dernière par la caisse de compensation précitée, ayant pour objet un formulaire de compensation avec des paiements rétroactifs de l'AVS/AI.
Par décisions des 6 et 13 février 2012, transmises directement à M._ et envoyées en copie à l'ancienne adresse de Me Duc, l'office AI a reconnu le droit de l'assuré à une rente entière pour la période comprise entre le 1er avril 2005 et le 30 juin 2008 et à un trois quarts de rente du 1er juin au 31 octobre 2011, respectivement fixé à 13'233 fr. le montant des intérêts moratoires dus à l'intéressé.
Invité par l'administration en mai 2012à remplir un questionnaire pour la révision de la rente, l'assuré le lui a retourné le 22 juin 2012 par le biais de son mandataire.
Se référant à son pli du 23 janvier précédent, l'avocat en question a de nouveau sollicité, par courrier du 20 juillet 2012, la notification d'une décision en bonne et due forme. L'administration a alors fait parvenir à Me Duc, le 24 juillet suivant, une copie des décisions des 21 novembre 2011 et 6 et 13 février 2012, ainsi que de son courrier du 26 janvier 2012.
B.
Le 13 septembre 2012, l'assuré a déféré les décisions des 21 novembre 2011 et 6 et 13 février 2012 au Tribunal cantonal du canton de Vaud, Cour des assurances sociales. Par jugement du 31 mai 2013, celui-ci a déclaré le recours irrecevable pour cause de tardiveté.
C.
M._ interjette un recours en matière de droit public contre ce jugement dont il demande l'annulation. Il conclut au renvoi de la cause au Tribunal cantonal pour qu'il statue au fond.

Considérant en droit:
1.
Le recours en matière de droit public peut être formé pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (<ref-law>), sans être limité par les arguments de la partie recourante ou par la motivation de l'autorité précédente. Par exception à ce principe, il ne peut entrer en matière sur la violation d'un droit constitutionnel ou sur une question relevant du droit cantonal ou intercantonal que si le grief a été invoqué et motivé de manière précise par la partie recourante (<ref-law>). Il n'examine en principe que les griefs invoqués, compte tenu de l'exigence de motivation prévue à l'<ref-law>, et ne peut aller au-delà des conclusions des parties (<ref-law>). Le Tribunal fédéral fonde son raisonnement sur les faits retenus par la juridiction de première instance (<ref-law>) sauf s'ils ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law> (<ref-law>). La partie recourante qui entend s'écarter des faits constatés doit expliquer de manière circonstanciée en quoi les conditions de l'<ref-law> sont réalisées sinon un état de fait divergent ne peut être pris en considération.
2.
Le litige porte sur le caractère tardif ou non du recours formé le 13 septembre 2012 contre les décisions des 21 novembre 2011 et 6 et 13 février 2012.
3.
La juridiction cantonale a constaté que ces actes avaient été transmis directement au recourant et n'avaient pas été notifiés à son représentant. Le délai pour contester une décision commençait à courir, dans une telle constellation, le dernier jour du délai de recours calculé dès la notification à l'assuré de l'acte en question. Etant donné que les décisions litigieuses, dont la dernière avait été rendue en février 2012, étaient susceptibles de recours dans un délai de 30 jours, elles étaient donc entrées en force au moment du dépôt du recours, en septembre 2012. Celui-ci devait ainsi être déclaré tardif, ce qui valait également si l'on admettait que le courrier envoyé par l'intimé au recourant le 26 janvier 2012 avait pu créer une certaine confusion. Dans cette hypothèse, il fallait effectivement considérer que le laps de temps écoulé entre la réception des décisions en cause par le recourant et la réaction de son représentant - qui s'était manifesté auprès de l'intimé le 20 juillet 2012 et avait déposé le recours le 13 septembre suivant - était trop important pour être considéré comme raisonnable, d'autant que le recourant avait rempli le 22 juin 2012 avec son mandataire un questionnaire pour la révision de son droit à la rente.
4.
Selon l'<ref-law>, une partie peut, en tout temps, se faire représenter, à moins qu'elle ne doive agir personnellement, ou se faire assister, pour autant que l'urgence d'une enquête ne l'exclue pas (al. 1). Tant que la partie ne révoque pas la procuration, l'assureur adresse ses communications au mandataire (al. 3). Il s'agit là d'un principe général du droit des assurances sociales, commandé par la sécurité du droit, qui établit une règle claire quant à la notification, déterminante pour le calcul du délai de recours (<ref-ruling> consid. 3 p. 182; SVR 2009 UV n° 16 p. 62, 8C_210/2008; RAMA 1997 n° U 288 p. 442, U 263/96, consid. 2b). Lorsqu'il reçoit personnellement une communication de l'assureur social, l'assuré représenté est en droit de penser que celle-ci est aussi parvenue à son représentant et qu'il peut s'abstenir d'agir personnellement (U ELI KIESER, ATSG-Kommentar, 2ème éd. 2009, n. 14 ad art. 37).
La notification irrégulière d'une décision ne doit entraîner aucun préjudice pour l'intéressé (art. 49 al. 3, 3ème phrase, LPGA). Cependant, la jurisprudence n'attache pas nécessairement la nullité à l'existence de vices dans la notification. La protection des parties est suffisamment garantie lorsque la notification irrégulière atteint son but malgré cette irrégularité. Il convient à cet égard de s'en tenir aux règles de la bonne foi qui imposent une limite à l'invocation du vice de forme. Ainsi l'intéressé doit agir dans un délai raisonnable dès qu'il a connaissance, de quelque manière que ce soit, de la décision qu'il entend contester (<ref-ruling> consid. 3a/aa p. 99; <ref-ruling> consid. 4c p. 150 et les références; RAMA 1997 n°U 288 p. 442, U 263/96, consid. 2b/bb). Cela signifie notamment qu'une décision, fût-elle notifiée de manière irrégulière, peut entrer en force si elle n'est pas déférée au juge dans un délai raisonnable (SJ 2000 I p. 118, 1P.485/1999). En vertu de son devoir de diligence, il appartient à la partie à qui la décision a été directement notifiée de se renseigner auprès de son mandataire - dont l'existence est connue de l'autorité - de la suite donnée à son affaire, au plus tard le dernier jour du délai de recours. Aussi, la jurisprudence considère-t-elle qu'il y a lieu de faire courir dès cette date le délai dans lequel une partie est tenue d'attaquer une décision qui n'a pas été notifiée à son représentant (DTA 2002 n° 9 p. 65, C 196/00, consid. 3a et la référence).
5.
Le recourant reproche aux premiers juges d'avoir violé les art. 37 et 49 al. 3 LPGA ainsi que l'interdiction du formalisme excessif issue des art. 29 al. 1 Cst. et 6 § 1 CEDH. L'application du principe selon lequel un assuré représenté qui reçoit directement une décision est censé prendre contact avec son mandataire au plus tard le dernier jour du délai de recours se comprendrait lorsque l'acte en question met fin à son droit à des prestations. Dans cette hypothèse, l'intéressé subirait en effet immédiatement les conséquences de la décision et, partant, serait en mesure d'en comprendre le contenu. En revanche, il en irait différemment des cas où - comme en l'espèce - la décision en cause ne déploie ses effets que bien après le moment de la notification. Au surplus, les décisions litigieuses revêtiraient un caractère technique et s'inscriraient dans un contexte assécurologique complexe, si bien qu'il n'aurait pas été capable d'en saisir la portée. Il serait en outre permis de se demander si un assuré qui entend contester une décision notifiée irrégulièrement ne devrait pas toujours disposer pour ce faire d'un délai d'un an, comme l'admettrait la jurisprudence dans certains cas particuliers. Par ailleurs, on ne pourrait pas reprocher à son avocat d'avoir attendu jusqu'au 20 juillet 2012 pour demander à l'intimé qu'une nouvelle décision, remplaçant celle du 21 novembre 2011, lui soit notifiée. Dans le courrier adressé par l'administration à son mandataire le 26 janvier 2012, celle-ci aurait effectivement indiqué qu'une décision serait rendue après que la SUVA aurait pris position, ce qui selon l'expérience générale prendrait un certain temps. Quant aux décisions des 6 et 13 février 2012, son représentant en aurait pris connaissance le 3 août 2012, à réception du courrier que lui avait envoyé l'intimé le 24 juillet précédent. Le délai de recours ayant été suspendu durant les féries judiciaires, le recours déposé le 13 septembre 2012 contre ces trois actes l'aurait dès lors été en temps utile.
6.
Les principes jurisprudentiels précités (cf. consid. 4), confirmés à la lumière de la CEDH et de la LPGA (arrêt 9C_85/2011 du 17 janvier 2012 consid. 6.2, 6.3 et 6.8), n'opèrent pas de distinctions entre les décisions notifiées irrégulièrement en fonction de leur objet et le recourant n'avance pas de raisons sérieuses et objectives propres à remettre en cause cette pratique (sur les conditions d'un changement de jurisprudence, cf. <ref-ruling> consid. 5.3.3 p. 39; <ref-ruling> consid. 3.2.4.1 p. 360 et les références citées). Il n'y a effectivement aucune raison de penser que le moment où une décision prend effet a une influence sur la faculté de son destinataire à en comprendre le contenu. De plus, on ne saurait affirmer que les décisions mettant fin au droit à des prestations déploient leurs effets immédiatement au moment de leur notification contrairement aux autres décisions rendues en matière d'assurance-invalidité. Une telle généralisation ignore notamment le fait que bon nombre d'actes appartenant à la première catégorie citée concerne la suppression du droit à une rente, laquelle peut intervenir au plus tôt le premier jour du deuxième mois suivant la notification (<ref-law>). Au surplus, c'est en vain que le recourant invoque le caractère prétendument complexe des décisions litigieuses pour en déduire qu'il ne pouvait pas comprendre leur contenu et, partant, qu'on ne pouvait pas attendre de lui qu'il contacte son mandataire après les avoir reçues. En effet, le contenu de ces actes n'est pas plus difficilement intelligible que celui du projet d'acceptation de rente du 20 juin 2011, notifié uniquement à l'intéressé, et ce dernier a manifestement soumis ce document à son mandataire puisque celui-ci s'y est opposé le 5 juillet 2011. Par ailleurs, on ne voit pas - et le recourant ne le précise pas non plus - quels motifs justifieraient l'extension de la jurisprudence développée en matière d'assurance-accident selon laquelle celui qui entend contester le refus (total ou partiel) de prestations communiqué à tort selon une procédure simplifiée, sans décision formelle, doit en principe le déclarer dans un délai d'une année (<ref-ruling> consid. 5.3 p. 151 ss). C'est donc à bon droit que les premiers juges ont appliqué aux décisions des 6 et 13 février 2012 les principes jurisprudentiels cités plus haut et en ont déduit que ces actes étaient entrés en force lorsqu'ils ont été portés devant eux.
Pour le reste, c'est en vain que le recourant tente de tirer argument du courrier que son mandataire a adressé à l'intimé le 23 janvier 2012, respectivement des suites données par l'administration à la missive en question. Son avocat a effectivement eu connaissance, à cette date au plus tard, de la décision du 21 novembre 2011 par laquelle l'intimé lui avait octroyé un trois quarts de rente de l'assurance-invalidité à partir du 1er novembre 2011. Il appartenait alors au recourant, s'il entendait attaquer cet acte, de le faire dans le délai de 30 jours prévu par l'<ref-law> et non de solliciter la notification d'une nouvelle décision (cf. par exemple arrêt 2C_347/2010 du 4 octobre 2010 consid. 2.2), étant précisé qu'il ne pouvait pas se prévaloir d'une absence de l'indication des voies de droit dans la décision précitée puisqu'il était représenté par un homme de loi (cf. <ref-ruling> consid. 1.3.1 p. 203). De plus, le mandataire du recourant devait savoir que la problématique évoquée dans le courrier envoyé le 18 janvier 2012 par la Caisse cantonale vaudoise de compensation à la SUVA ne pouvait exercer une influence ni sur la quotité de la rente allouée par la décision du 21 novembre 2011 ni sur le moment à partir duquel le droit à cette prestation était reconnu; l'avocat en question ne pouvait donc pas déduire du courrier que lui avait adressé l'administration le 26 janvier 2012 en se référant à ce pli que l'intimé comptait revenir sur cette décision.
7.
Sur le vu de ce qui précède, le recours est mal fondé. Compte tenu de l'issue de la procédure, les frais judiciaires sont à la charge du recourant, qui ne peut prétendre de dépens (art. 66 al. 1 et 68 al. 1 LTF). Il a cependant sollicité le bénéfice de l'assistance judiciaire gratuite pour l'instance fédérale. Dès lors que les conditions en sont réalisées (<ref-law>), le recourant est dispensé du paiement des frais judiciaires et les honoraires de son avocat seront pris en charge par la caisse du Tribunal fédéral. L'attention du recourant est attirée sur le fait qu'il devra rembourser la caisse du Tribunal fédéral s'il devient en mesure de le faire ultérieurement (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1.
Le recours est rejeté.
2.
La demande d'assistance judiciaire est admise. Maître Jean-Michel Duc est désigné comme avocat d'office du recourant.
3.
Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge du recourant. Ils sont toutefois supportés provisoirement par la caisse du Tribunal.
4.
Une indemnité de 2'800 fr. est allouée à l'avocat du recourant à titre d'honoraires à payer par la caisse du Tribunal.
5.
Le présent arrêt est communiqué aux parties, au Tribunal cantonal du canton de Vaud, Cour des assurances sociales, et à l'Office fédéral des assurances sociales.
Lucerne, le 2 décembre 2013
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président: Kernen
Le Greffier: Bouverat