Faits: A. M._ a requis le 3 décembre 2004 des prestations de l'Office de l'assurance-invalidité pour le canton de Vaud (l'office AI). Il a notamment indiqué avoir subi un trouble crânio-cérébral pour lequel il s'était annoncé auprès de la SUVA. Me Jean-Michel Duc, avocat, a fait savoir à l'administration par courrier du 28 janvier 2008 assorti d'une procuration qu'il représentait désormais l'assuré et que celui-ci faisait élection de domicile en son étude. Le 20 juin 2011, l'office AI a informé directement M._ qu'il envisageait de lui octroyer une rente entière du 1er avril 2005 au 31 mai 2011 puis un trois quarts de rente à partir du 1er juin 2011 et a transmis une copie de ce projet de décision à Me Duc. Ce dernier envoi lui a été retourné avec la mention "A déménagé; délai de réexpédition expiré". Par courriers du 5 juillet 2011, l'avocat précité a communiqué à l'administration sa nouvelle adresse et fait valoir des objections à l'encontre dudit projet. L'office AI les a rejetées par courrier du 4 octobre 2011, dans lequel il a averti Me Duc qu'une décision lui serait prochainement notifiée. Le 21 novembre 2011, l'administration a communiqué directement à M._ une décision lui reconnaissant dès le 1er novembre précédent le droit à un trois quart de rente. Me Duc a requis de l'office AI par courrier du 17 janvier 2012 une copie du dossier de son client. Le 23 janvier suivant, il a indiqué à l'administration qu'il avait constaté à la lecture de celui-ci l'existence d'une décision rendue le 21 novembre 2011, dépourvue de l'indication des voies de droit, qui ne lui avait pas été notifiée, et a demandé qu'une décision lui soit adressée en bonne et due forme. L'office AI lui a répondu le 26 janvier 2012 que la Caisse cantonale vaudoise de compensation lui notifierait une décision après avoir obtenu des informations de la SUVA. Il a joint à ce courrier une lettre adressée le 18 janvier précédent à cette dernière par la caisse de compensation précitée, ayant pour objet un formulaire de compensation avec des paiements rétroactifs de l'AVS/AI. Par décisions des 6 et 13 février 2012, transmises directement à M._ et envoyées en copie à l'ancienne adresse de Me Duc, l'office AI a reconnu le droit de l'assuré à une rente entière pour la période comprise entre le 1er avril 2005 et le 30 juin 2008 et à un trois quarts de rente du 1er juin au 31 octobre 2011, respectivement fixé à 13'233 fr. le montant des intérêts moratoires dus à l'intéressé. Invité par l'administration en mai 2012à remplir un questionnaire pour la révision de la rente, l'assuré le lui a retourné le 22 juin 2012 par le biais de son mandataire. Se référant à son pli du 23 janvier précédent, l'avocat en question a de nouveau sollicité, par courrier du 20 juillet 2012, la notification d'une décision en bonne et due forme. L'administration a alors fait parvenir à Me Duc, le 24 juillet suivant, une copie des décisions des 21 novembre 2011 et 6 et 13 février 2012, ainsi que de son courrier du 26 janvier 2012. B. Le 13 septembre 2012, l'assuré a déféré les décisions des 21 novembre 2011 et 6 et 13 février 2012 au Tribunal cantonal du canton de Vaud, Cour des assurances sociales. Par jugement du 31 mai 2013, celui-ci a déclaré le recours irrecevable pour cause de tardiveté. C. M._ interjette un recours en matière de droit public contre ce jugement dont il demande l'annulation. Il conclut au renvoi de la cause au Tribunal cantonal pour qu'il statue au fond.