Faits:
A.
Titulaire d'un certificat fédéral de capacité de mécanicien en automobiles, M._ (né en 1958) a travaillé comme chauffeur-livreur pour la société X._ SA du 1 er janvier 1979 au 31 mars 2006, date à laquelle les rapports de travail ont pris fin en raison d'absences pour cause de maladie durant de nombreux mois.
Le 20 mars 2007, M._ a présenté une demande de prestations de l'assurance-invalidité. Après avoir recueilli des avis médicaux, l'Office de l'assurance-invalidité pour le canton de Vaud (ci-après: l'office AI) a mis en oeuvre un stage d'orientation professionnelle en avril 2009, qui a dû être interrompu le 12 juin 2009, l'assuré n'ayant pas été prêt à aborder une quelconque reconversion (cf. rapport de l'atelier d'intégration professionnelle du 14 janvier 2010). Sur requête de l'office AI, M._ a été examiné par le docteur R._, spécialiste en médecine physique et rééducation, du Service médical régional AI (SMR). Le médecin a diagnostiqué (avec répercussion sur la capacité de travail) des lombosciatalgies chroniques (status après cure de hernie discale L4/L5 G, modification de type inflammatoire MODIC II et phénomènes inflammatoires aux dépens des articulaires postérieures L4/L5 avec image de géode et d'ostéophyte, déconditionnement musculaire et discopathies étagées), des gonalgies droites sur status après nécrose aseptique du condyle interne, ainsi que des douleurs chroniques de la cheville droite sur status après fracture et ostéosynthèse à l'âge de 19 ans. Il a indiqué que l'assuré avait notamment mentionné avoir été pris en charge dans le courant 2008 par un psychologue et qu'il décrivait un état anxiodépressif à caractère fluctuant, évoluant depuis plusieurs années. Le docteur R._ a conclu qu'en fonction des atteintes à la santé objectives mises en évidence sur le plan ostéoarticulaire, sans prendre en considération la composante à caractère non organique à laquelle se surajoutait la notion d'un trouble anxiodépressif, l'assuré présentait une incapacité totale de travail dans l'activité habituelle, mais disposait en revanche d'une capacité de travail de 70 % (100 % avec une diminution de rendement de 30 %) dans une activité adaptée aux limitations décrites (rapport du 10 juillet 2009).
Le 19 octobre 2009, l'office AI a informé l'assuré qu'il comptait le mettre au bénéfice d'une rente entière d'invalidité du 1 er mars 2006 au 31 mars 2007, puis d'une demi-rente du 1er avril 2007 au 31 mai 2008 et à partir du 1er juin 2009 (la suspension de la rente étant due au versement d'indemnités journalières du 20 mai 2008 au 12 juin 2009). M._ a contesté ce projet de décision, en concluant à l'octroi d'une rente entière d'invalidité à partir du 1er mars 2006 (avec interruption de mai 2008 à juin 2009), puis en sollicitant une expertise bidisciplinaire avec volet psychiatrique. Il a par la suite produit une expertise (du 6 septembre 2010) réalisée par le docteur A._, spécialiste FMH en rhumatologie et médecine interne, qui s'est adjoint l'aide de la doctoresse C._, spécialiste FMH en psychiatrie et psychothérapie (rapport du 30 août 2010). Le docteur A._ y concluait que l'incapacité de travail s'élevait à 70 % avec 30 % de diminution de rendement dans une activité adaptée.
Après avoir requis l'avis du docteur S._ du SMR, notamment sur un courrier du docteur A._ (reçu par le conseil de l'assuré le 25 mars 2011), l'office AI a rendu deux décisions le 15 juillet 2011, par lesquelles il a alloué à l'assuré une rente entière d'invalidité du 1 er mars 2006 au 31 mars 2007, fondée sur un degré d'invalidité de 100 %, puis une demi-rente d'invalidité du 1er avril 2007 au 31 mai 2008 et à nouveau dès le 1er juin 2009, fondée sur un degré d'invalidité de 56 %.
B.
Statuant le 5 novembre 2012 sur les recours formés par M._ contre ces décisions, le Tribunal cantonal du canton de Vaud, Cour des assurances sociales, les a rejetés en confirmant les décisions du 15 juillet 2011.
C.
Agissant par la voie du recours en matière de droit public, M._ demande principalement au Tribunal fédéral, avec suite de frais et dépens, de réformer le jugement cantonal, en ce sens qu'il a droit à une rente entière d'invalidité du 1 er mars 2006 au 31 mai 2008, puis dès le 1er juin 2009, avec intérêts à 5 % l'an dès le 1er mars 2006 et au pro rata temporis jusqu'au 31 mai 2008, respectivement dès le 1er juin 2009. A titre subsidiaire, il conclut à l'annulation des décisions de l'office AI du 15 juillet 2011 et au renvoi de la cause à la juridiction cantonale pour nouvelles instruction et décision.
L'office AI a conclu au rejet du recours.

Considérant en droit:
1.
Le recours en matière de droit public (<ref-law>) peut être formé pour violation du droit selon l'art. 95 sv. LTF. Le Tribunal fédéral statue en principe sur la base des faits établis par l'autorité précédente (<ref-law>), sous réserve des cas prévus à l'<ref-law>. Cette disposition lui donne la faculté de rectifier ou compléter d'office l'état de fait de l'arrêt attaqué dans la mesure où des lacunes ou erreurs dans celui-ci lui apparaîtraient d'emblée comme manifestes. Quant au recourant, il ne peut critiquer la constatation de faits importants pour le jugement de la cause que si ceux-ci ont été constatés en violation du droit au sens de l'<ref-law> ou de manière manifestement inexacte (<ref-law>).
2.
2.1. Au regard des motifs et conclusions du recours, M._ ne remet pas en cause la rente entière d'invalidité que lui a accordée l'intimé du 1 er mars 2006 au 31 mars 2007; il demande en revanche que lui soit allouée une rente plus élevée que la demi-rente octroyée du 1er avril 2007 au 31 mai 2008, puis à partir du 1er juin 2009, à savoir une rente entière. Le litige porte donc sur le point de savoir si le recourant a droit, pour les périodes mentionnées y relatives, à une rente supérieure à la demi-rente allouée par l'intimé.
2.2. Le jugement entrepris, auquel on peut renvoyer sur ce point, expose de manière complète les règles légales et la jurisprudence applicables au litige, notamment celles sur le principe de la libre appréciation des preuves et la valeur probante de rapports médicaux. On ajoutera que dans une procédure portant sur l'octroi ou le refus de prestations d'assurances sociales, lorsqu'une décision administrative s'appuie exclusivement sur l'appréciation d'un médecin interne à l'assureur social et que l'avis d'un médecin traitant ou d'un expert privé auquel on peut également attribuer un caractère probant laisse subsister des doutes même faibles quant à la fiabilité et la pertinence de cette appréciation, la cause ne saurait être tranchée en se fondant sur l'un ou sur l'autre de ces avis et il y a lieu de mettre en oeuvre une expertise par un médecin indépendant selon la procédure de l'<ref-law> ou une expertise judiciaire (<ref-ruling> consid. 4.6 p. 471; arrêt 8C_456/2010 du 19 avril 2011 consid. 3).
3.
3.1. Le recourant conteste l'évaluation de la capacité résiduelle de travail dans une activité adaptée à laquelle a procédé la juridiction cantonale, qui a retenu, en suivant les conclusions du docteur R._ et les avis du SMR, qu'il présentait une capacité de travail de 70 % dans une activité adaptée aux limitations fonctionnelles. Il reproche en substance aux premiers juges d'avoir nié la nécessité d'une évaluation complémentaire sur le plan psychiatrique au regard des conclusions des docteurs A._ et C._, ce d'autant plus que le docteur R._ avait lui aussi admis la notion d'un trouble anxiodépressif évoluant depuis au moins 2008 avec des antécédents de prise en charge sur le plan psychologique.
3.2. La juridiction cantonale a écarté le rapport du docteur A._, selon lequel la capacité de travail du recourant correspondait à 70 % avec une baisse de rendement de 30 % en raison des atteintes dégénératives du rachis lombaire et du genou droit, ainsi que de l'importance de la psychopathologie associée. Elle a nié le caractère probant des conclusions de l'expert, en considérant qu'elles n'étaient pas étayées par des explications claires quant aux motifs qui justifiaient de tenir compte d'un allégement supplémentaire de 30 % du rythme ou du temps de travail en raison de l'atteinte à la santé psychique, par rapport à l'incapacité de travail de 30 % déjà admise sur le plan somatique. L'addition des taux d'incapacité somatique et psychique à laquelle avait procédé le docteur A._ ne pouvait être suivie: une incapacité de travail supérieure à 70 % pour raisons psychiatriques ne pouvait être retenue au vu de l'intensité moyenne de l'épisode dépressif, de l'absence de syndrome somatique et de l'absence de prise en charge psychiatrique adéquate.
3.3. La manière de procéder de l'autorité de recours de première instance ne prend pas en considération les principes en matière d'appréciation des preuves rappelés ci-avant, découlant du principe de l'égalité des armes (tiré du droit à un procès équitable garanti par l'art. 6 § 1 CEDH [ATF 136 V 465 consid. 4 p. 467]). Si on peut concéder aux premiers juges que l'expert privé n'explique pas de manière détaillée pourquoi il convient de considérer que le taux d'incapacité de travail sur le plan somatique (30 %) ne se recoupe pas avec celui de la baisse de rendement (30 %) sur le plan psychique, on ne saurait toutefois nier toute valeur probante à ses constatations. Contrairement à ce qu'a retenu la juridiction cantonale, le docteur A._ ne s'est pas "limité à reprendre abstraitement les conclusions du rapport du 30 août 2010 de la Dresse C._". Il ressort au contraire de l'appréciation et des conclusions de l'expertise privée que les deux médecins mandatés par l'assuré ont évalué de concert la capacité de travail à 70 % avec la limitation supplémentaire de 30 % (diminution de rendement), pour tenir compte, d'une part, des atteintes physiques et de l'autre de l'importance de la psychopathologie associée. A cet égard, la doctoresse C._ - qui a fait état d'un épisode dépressif moyen s'étant péjoré depuis juillet 2009 et ayant entraîné une incapacité de travail de 30 % (rapport du 30 août 2010) - a d'entente avec son confrère A._ retenu une capacité résiduelle de travail globale ("toutes pathologies confondues") de 70 % avec 30 % de diminution de rendement dans une activité adaptée (cf. "En conclusion", p. 13 du rapport du 6 septembre 2009 et courrier du docteur A._ parvenu au conseil du recourant le 25 mars 2011).
On constate par ailleurs que l'experte privée a précisément tenu compte, lorsqu'elle a fait état d'une limitation (additionnelle) de la capacité de travail de l'assuré sur le plan psychique, des éléments mis en évidence par le docteur S._ (avis des 9 novembre 2010 et 7 avril 2011) et repris par la juridiction cantonale (absence de syndrome somatique et de prise en charge psychiatrique adéquate, intensité moyenne de l'épisode dépressif) pour nier une restriction supplémentaire de la capacité de travail. On précisera à ce sujet qu'on ne saurait admettre d'emblée, comme l'indique à tort le docteur S._ dans son avis du 7 avril 2011, que "des incapacités de travail d'origine somatique et psychique ne sauraient s'additionner". L'un des objectifs d'une expertise multi- ou bidisciplinaire est précisément d'établir, dans un rapport de synthèse, si les incapacités de travail attestées par divers spécialistes se recouvrent partiellement ou entièrement, le taux d'incapacité de travail procédant toujours d'une évaluation globale. En l'occurrence, les motifs indiqués par les premiers juges, qui relèvent donc d'une appréciation divergente d'une même situation médicale, n'apparaissent pas suffisants pour écarter, sans autre examen et faute d'une autre appréciation psychiatrique, les conclusions des experts privés. Au contraire, celles-ci jettent des doutes suffisants sur l'étendue de la capacité de travail résiduelle du recourant, telle qu'attestée par le docteur R._, qui n'avait à l'époque pas tenu compte de la problématique psychique mise en lumière postérieurement par la doctoresse C._, pour qu'une instruction complémentaire sous la forme d'une expertise pluridisciplinaire, externe à l'administration, s'impose.
La conclusion subsidiaire du recours (qui tend implicitement à l'annulation du jugement entrepris) se révèle ainsi bien fondée et la cause sera renvoyée à l'intimé pour qu'il mette en oeuvre une telle expertise, puis se prononce sur le droit éventuel du recourant à une rente d'invalidité supérieure à une demi-rente du 1er avril 2007 au 31 mai 2008, puis à partir du 1er juin 2009. Le jugement entrepris doit par conséquent être annulé, ainsi que les décisions du 15 juillet 2011 en tant qu'elles portent sur le refus du droit de l'assurée à une rente supérieure à une demi-rente du 1er avril 2007 au 31 mai 2008, puis à partir du 1er juin 2009.
4.
Vu l'issue de la procédure, les frais judiciaires seront mis à la charge de l'intimé (<ref-law>). Celui-ci versera également au recourant une indemnité à titre de dépens (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1.
Le recours est admis. La décision du Tribunal cantonal du canton de Vaud, Cour des assurances sociales, du 5 novembre 2012 est annulée, de même que les décisions de l'Office de l'assurance-invalidité pour le canton de Vaud du 15 juillet 2011 en tant qu'elles portent sur le refus du droit de l'assurée à une rente supérieure à une demi-rente de l'assurance-invalidité du 1er avril 2007 au 31 mai 2008, puis à partir du 1er juin 2009.
2.
La cause est renvoyée à l'Office de l'assurance-invalidité pour le canton de Vaud pour complément d'instruction et nouvelle décision au sens des considérants.
3.
Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge de l'intimé.
4.
L'intimé versera au recourant la somme de 2800 fr. à titre de dépens pour la procédure devant le Tribunal fédéral.
5.
La cause est renvoyée au Tribunal cantonal du canton de Vaud, Cour des assurances sociales, pour nouvelle décision sur les frais et les dépens de la procédure antérieure.
6.
Le présent arrêt est communiqué aux parties, au Tribunal cantonal du canton de Vaud, Cour des assurances sociales, et à l'Office fédéral des assurances sociales.
Lucerne, le 3 juillet 2013
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président: Kernen
La Greffière: Moser-Szeless