Faits:
A.
A.a. K._, né en 1960, travaillait en qualité de monteur en ventilation au service de l'entreprise X._ AG. Le 10 septembre 2001, il a été victime d'un accident professionnel. Alors qu'il se trouvait sur un chantier, il a chuté de plusieurs mètres et a subi un traumatisme thoracique gauche, des fractures de côtes en série, un hémothorax gauche, un hématome péri-rénal gauche et un hématome intra-scapulaire de la rate. Cet accident a été pris en charge par la Caisse nationale suisse d'assurance en cas d'accidents (CNA).
Le 18 juillet 2002, K._ a déposé une demande de prestations de l'assurance-invalidité tendant à l'octroi principalement d'une mesure de rééducation et subsidiairement d'une rente.
Dans un rapport du 5 mars 2003, le docteur O._, médecin d'arrondissement de la CNA, a relevé que son examen clinique était avant tout marqué par une autolimitation et des plaintes incessantes qui étaient toujours rapportées à l'hémithorax gauche. Une surcharge psychogène était certaine. Du point de vue somatique, l'assuré ne pouvait plus travailler comme monteur en ventilation mais était en mesure d'exercer, avec une capacité de travail entière, toute activité légère de type industriel, exécutée à hauteur d'établi.
Par décision du 25 avril 2005, l'office AI a alloué à l'assuré une rente entière d'invalidité limitée dans le temps pour la période du 1 er septembre 2002 au 31 mai 2003. Pour les organes de l'assurance-invalidité, l'état de santé de l'assuré s'était considérablement amélioré à compter du mois de mars 2003 de sorte qu'il disposait d'une capacité de travail entière dans une activité adaptée. Après comparaison des revenus, l'intéressé présentait un degré d'invalidité de 19 %, lequel était insuffisant pour ouvrir le droit à une rente d'invalidité.
Estimant que l'instruction sur le plan psychiatrique était lacunaire, K._ a fait opposition à cette décision et requis la mise en oeuvre d'une expertise psychiatrique ainsi que l'octroi d'une rente d'invalidité. Par décision du 22 août 2006, l'office AI a rejeté l'opposition, au motif que l'examen psychiatrique pratiqué le 25 juin 2004 par le SMR (rapport de la doctoresse B._ du 28 juin 2004) était probant et qu'il n'y avait pas lieu de s'écarter de ses conclusions, selon lesquelles l'assuré ne présentait «aucun diagnostic psychiatrique» donc aucune incapacité de travail sur ce plan.
A.b. K._ a déféré cette décision au Tribunal des assurances du canton de Vaud (aujourd'hui: le Tribunal cantonal vaudois, Cour des assurances sociales) en reprenant les conclusions qu'il avait formulées dans son opposition.
Par jugement du 16 octobre 2007, le tribunal a admis le recours, annulé la décision entreprise et renvoyé la cause à l'office AI pour complément d'instruction et nouvelle décision. Il a considéré, en se référant à l'arrêt du Tribunal fédéral I 65/2007 du 31 août 2007, que la doctoresse B._ n'était pas titulaire du titre de spécialiste FMH en psychiatrie et psychothérapie dont elle se prévalait, ni au bénéfice d'une autorisation de pratiquer selon le droit cantonal. Ces circonstances entachaient la fiabilité du rapport médical établi sur mandat de l'administration.
A.c. Reprenant l'instruction de la cause, l'office AI a confié la réalisation d'une expertise psychiatrique au docteur F._, spécialiste FMH en psychiatrie et psychothérapie. Celui-ci a rendu un rapport d'expertise le 5 mai 2008, établi sur la base de deux examens de l'assuré des 25 et 28 avril 2008. L'expert a posé le diagnostic de trouble dépressif récurrent (épisode actuel léger) et de syndrome douloureux somatoforme persistant, qu'il a qualifié de peu de gravité car à la limite du seuil diagnostique. Dans un tel contexte, il n'était pas légitime de retenir une incapacité de travail significative sur le plan psychiatrique.
Dans un projet de décision du 10 juin 2009, l'office AI a informé l'assuré qu'il entendait rejeter sa demande de prestations, au motif que l'expertise réalisée par le docteur F._ n'avait pas démontré qu'il souffrait d'une atteinte à la santé psychique à caractère invalidant. L'assuré s'est opposé à ce projet et a requis la mise en oeuvre d'un complément d'instruction sous la forme d'une expertise pluridisciplinaire. Il estimait que l'appréciation du docteur F._ n'avait tenu compte ni de la sévérité du syndrome douloureux dont il souffrait depuis huit ans ni du fait que son état de santé s'était «chronicisé» depuis l'accident.
Par deux décisions séparées du 5 novembre 2009, l'office AI a rejeté la demande de prestations en ce sens qu'il a refusé d'allouer une rente pour la période postérieure au 31 mai 2003, au motif que le degré d'invalidité de 19 % présenté par l'assuré était insuffisant pour ouvrir le droit à cette prestation. Il a d'autre part refusé d'accorder à l'intéressé l'assistance juridique pour la procédure administrative.
B.
K._ a déféré ces deux décisions au Tribunal cantonal vaudois, Cour des assurances sociales. Après avoir joint les deux causes, statuant le 10 décembre 2012, la juridiction cantonale a rejeté le recours dirigé contre la décision de l'office AI concernant le droit à la rente (chiffre II du dispositif). En revanche, elle a admis le recours relatif à l'assistance juridique en procédure administrative et renvoyé la cause audit office pour qu'il fixe le montant de l'indemnité due à ce titre (chiffre III du dispositif).
C.
K._ interjette un recours en matière de droit public contre ce jugement et demande, à titre principal, la réforme du chiffre II du dispositif en ce sens qu'il est mis au bénéfice d'une rente d'invalidité de 100 % dès le 1 er juin 2003, sous suite de frais et dépens. A titre subsidiaire, il demande l'annulation du chiffre II du dispositif, la cause étant renvoyée au tribunal cantonal «pour nouvelle instruction, nouveau jugement et nouvelle décision dans le sens des considérants de l'arrêt à venir». En outre, il requiert le bénéfice de l'assistance judiciaire gratuite pour la procédure fédérale.
L'office AI conclut implicitement au rejet du recours. Quant à l'Office fédéral des assurances sociales, il a renoncé à se déterminer.
D.
Par ordonnance du 4 mars 2013, le Tribunal fédéral a rejeté la demande d'assistance judiciaire, au motif que les conclusions du recours paraissaient vouées à l'échec.

Considérant en droit:
1.
Le recours en matière de droit public peut être formé pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF. Le Tribunal fédéral fonde son raisonnement sur les faits retenus par la juridiction de première instance (<ref-law>) sauf s'ils ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law> (<ref-law>). Le recourant qui entend s'écarter des faits constatés doit expliquer de manière circonstanciée en quoi les conditions de l'<ref-law> sont réalisées sinon un état de fait divergent ne peut être pris en considération.
2.
La juridiction cantonale a confirmé le point de vue de l'office AI. Elle a constaté en se fondant sur le rapport du docteur O._ du 5 mars 2003 que, sur le plan somatique, l'assuré disposait d'une pleine capacité de travail dans une activité légère de type industriel (cf. consid. 6a p. 24). En outre, il n'y avait pas d'éléments objectifs nécessitant un réexamen de la situation malgré le temps écoulé depuis la rédaction des derniers rapports sur le sujet. Elle a également constaté que l'assuré ne présentait pas une comorbidité psychiatrique importante par sa gravité, son acuité et sa durée. Elle a ensuite examiné si les critères mis en évidence par la jurisprudence (relative notamment aux troubles somatoformes douloureux) pour admettre à titre exceptionnel le caractère non exigible de l'effort de volonté en vue de surmonter la douleur et, partant, de la réintégration dans le processus de travail étaient réalisés pour conclure que tel n'était pas le cas (cf. consid. 6b/cc p. 26 et 27 en haut). Elle en a déduit que nonobstant l'état douloureux, l'assuré disposait, depuis le mois de mars 2003 (date du rapport du docteur O._), d'une pleine capacité de travail dans une activité physiquement adaptée. Finalement, elle a considéré que ni l'audition du psychiatre traitant, le docteur G._, ni l'administration d'une expertise pluridisciplinaire n'apparaissaient nécessaires à l'instruction de la cause (cf. consid. 6c p. 27).
3.
3.1. Le recourant soulève le grief de violation du droit d'être entendu, en reprochant aux premiers juges d'avoir écarté sa requête visant à la mise en oeuvre d'une nouvelle expertise médicale.
Le droit d'être entendu garanti par l'art. 29 al. 2 Cst. comprend celui pour les parties de produire des preuves quant aux faits de nature à influer la décision et d'obtenir qu'il soit donné suite aux offres de preuves pertinentes (<ref-ruling> consid. 3.1 p. 370; <ref-ruling> consid. 2c p. 578; <ref-ruling> consid. 3a p. 436). En revanche, une partie n'a pas droit à l'administration d'une preuve dépourvue de pertinence parce qu'elle porte sur une circonstance sans rapport avec le litige, ou qu'une appréciation anticipée des preuves déjà recueillies démontre qu'elle ne serait pas de nature à emporter la conviction de la juridiction saisie (cf. <ref-ruling> consid. 2.1 p. 429; <ref-ruling> consid. 6c/cc in fine p. 135). En d'autres termes, la garantie constitutionnelle de l'art. 29 al. 2 Cst. n'empêche pas l'autorité de mettre un terme à l'instruction lorsque les preuves administrées lui ont permis de former sa conviction et que, procédant d'une manière non arbitraire à une appréciation anticipée des preuves qui lui sont encore proposées, elle a la certitude qu'elles ne pourraient l'amener à modifier son opinion ( <ref-ruling> consid. 4.3.2 p. 376; <ref-ruling> consid. 5.3 p. 236; <ref-ruling> consid. 3 p. 157; cf. arrêt 1C_450/2012 du 7 août 2013 consid. 5.1).
3.2. En l'espèce, le recourant soutient que le rapport du docteur O._, sur lequel s'est fondée la juridiction cantonale et qui remonte à 2003, ne reflète plus la situation actuelle, d'un point de vue global, alors même qu'il eût été nécessaire, selon le recourant de prendre en compte «tant l'aspect somatique que l'aspect psychiatrique». Comme l'ont toutefois relevé les premiers juges, rien au dossier ne met en évidence des éléments objectifs qui expliqueraient l'entier du tableau douloureux ou qui justifieraient de retenir sur le plan somatique une incapacité de travail, à tout le moins dans une activité adaptée. Le recourant ne prétend du reste pas le contraire, pas plus qu'il ne fait état d'une aggravation de ses troubles physiques depuis 2003. La juridiction cantonale pouvait, dans ces conditions, renoncer à un complément d'instruction. Le moyen soulevé n'est dès lors pas fondé.
3.3. Le recourant conteste la valeur probante du rapport d'expertise du docteur F._. D'une part, celui-ci s'est fondé sur des rapports médicaux qui s'arrêtent en 2003 pour l'aspect somatique. D'autre part, l'expert se serait basé «à de multiples reprises» sur le rapport de la doctoresse B._, alors que celle-ci n'avait pas le titre de spécialiste FMH en psychiatrie dont elle se prévalait. Ces griefs sont dénués de fondement. Comme on vient de le voir, l'état de santé du recourant, sur le plan somatique, ne justifiait pas de nouvelles investigations. Par ailleurs, s'il est vrai que l'expert a fait incidemment état d'observations de la doctoresse B._ (le recourant fait ici références à deux phrases du rapport qui compte pas moins de 21 pages), celles-ci s'insèrent dans la description du contexte médical objectif tel qu'il ressort de l'ensemble des pièces. L'expert n'en a pas moins procédé à sa propre analyse de la situation, dont il a également tiré des conclusions propres, en se fondant sur l'ensemble des pièces versées au dossier et sur les deux entretiens qu'il a eus avec l'assuré.
3.4. Dans ces conditions, le grief de la violation du droit d'être entendu doit être rejeté. Le jugement entrepris ne prête pas le flanc à la critique.
Les conclusions du recourant sont, partant, mal fondées.
4.
Vu l'issue du litige, les frais de procédure sont mis à la charge du recourant (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties, au Tribunal cantonal vaudois, Cour des assurances sociales, et à l'Office fédéral des assurances sociales.
Lucerne, le 23 octobre 2013
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
La Présidente: Leuzinger
La Greffière: Berset