Faits :
A.
A.a. A._, né en 1955, a travaillé en tant que chauffeur-livreur pour le compte de la société B._ SA dès juillet 1987. Au mois de juillet 2008, il a déposé une demande de prestations de l'assurance-invalidité; il y indiquait souffrir d'arthrose aiguë du dos entraînant de fréquents blocages et une incapacité à maintenir longtemps la position assise au volant.
Entre autres mesures d'instruction, l'Office de l'assurance-invalidité pour le canton de Vaud (ci-après: l'office AI) a recueilli des renseignements auprès des médecins traitants de l'assuré, qu'il a soumis au docteur C._, médecin au Service médical régional (SMR). Ce médecin a confirmé le diagnostic avec répercussion sur la capacité de travail de lombalgies chroniques sur troubles statiques et dégénératifs posé par ses confrères et conclu à une capacité de travail de 50 % dans l'activité habituelle; en revanche, l'assuré présentait une pleine capacité de travail dans une activité adaptée à ses limitations fonctionnelles (rapport du 1 er décembre 2008). L'office AI a fait bénéficier A._ de différentes mesures de reclassement professionnel, sous la forme notamment d'une formation en logistique auprès du Centre de l'Organisation romande pour l'intégration et la formation professionnelle (ORIF), du 17 août 2009 au 31 janvier 2011 (communications des 23 mars 2009, 21 juillet et 10 août 2010). L'administration a également accordé une aide au placement (communication du 20 janvier 2011), qui n'a pas permis de réintégrer l'assuré sur le marché du travail, et à laquelle elle a mis fin par courrier du 11 avril 2013.
A.b. Au mois de septembre 2013, A._ a présenté une nouvelle demande de prestations de l'assurance-invalidité. Il a joint à celle-ci un rapport du docteur D._, spécialiste en médecine interne générale, qui faisait état d'une diminution de la capacité de travail de 50 % tant dans l'activité habituelle que dans une activité adaptée (rapport du 27 novembre 2013). Dans le cadre de son instruction, l'office AI a notamment soumis l'assuré à une expertise auprès du docteur E._, médecin-chef du Service de chirurgie orthopédique et de réadaptation physique du centre F._ SA. L'expert a indiqué que l'assuré présentait une pleine capacité de travail avec une baisse de rendement de 25 % dans une activité adaptée; dans l'activité de gestionnaire en logistique, la capacité de travail était de 50 % durant une période transitoire de six mois nécessaire à un reconditionnement musculaire, puis de 100 % par la suite, avec une diminution de rendement de 25 % (rapport du 10 mars 2015). Ces conclusions ont été confirmées par le docteur G._ du SMR, qui a retenu qu'une pleine capacité de travail avec une baisse de rendement de 25 % dans une activité adaptée existait à compter du 28 avril 2014; dans l'activité habituelle, la capacité de travail était de 50 % avec une baisse de rendement de 25 % dès le 28 avril 2014, puis de 100 % dès le 1er novembre 2014 (rapport du 30 mars 2015). Par décision du 21 juin 2017, l'office AI a nié le droit de l'assuré à une rente d'invalidité, ainsi qu'à des mesures d'ordre professionnel.
B.
Le 15 août 2017, A._ a interjeté un recours contre cette décision devant le Tribunal cantonal du canton de Vaud, Cour des assurances sociales. Il a conclu à sa réforme en ce sens qu'une pleine rente d'invalidité, subsidiairement une demi-rente, lui est allouée dès le 1 er septembre 2013. L'assuré a également requis la mise en oeuvre d'une expertise psychiatrique. Par jugement du 25 octobre 2018, la juridiction cantonale a partiellement admis le recours. Elle a réformé la décision du 21 juin 2017 en ce sens que A._ a droit à une demi-rente d'invalidité du 1er septembre 2013 au 31 mars 2015.
C.
A._ interjette un recours en matière de droit public contre ce jugement. Il conclut principalement à l'annulation de celui-ci et au renvoi de la cause à l'office AI pour qu'il ordonne une expertise psychiatrique ainsi que des mesures de réadaptation puis rende une nouvelle décision; subsidiairement, il demande la réforme du jugement entrepris en ce sens que la décision du 21 juin 2017 est réformée en ce sens qu'un droit à une rente entière d'invalidité, subsidiairement à une demi-rente, lui est reconnu dès le 1er septembre 2013. Le recourant sollicite par ailleurs le bénéfice de l'assistance judiciaire.
L'office AI conclut au rejet du recours, tandis que l'Office fédéral des assurances sociales a renoncé à se déterminer.

Considérant en droit :
1.
Le recours en matière de droit public peut être interjeté pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (<ref-law>). Il statue par ailleurs sur la base des faits établis par l'autorité précédente (<ref-law>), sauf s'ils ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law> (<ref-law>). Le recourant qui entend s'en écarter doit expliquer de manière circonstanciée en quoi les conditions de l'<ref-law> sont réalisées sinon un état de fait divergent ne peut pas être pris en considération.
2.
Les constatations de l'autorité cantonale de recours sur l'atteinte à la santé, la capacité de travail de la personne assurée et l'exigibilité - pour autant qu'elles ne soient pas fondées sur l'expérience générale de la vie - relèvent d'une question de fait et ne peuvent donc être contrôlées par le Tribunal fédéral que sous un angle restreint (<ref-ruling> consid. 3.2 p. 398). On rappellera, en particulier, qu'il n'y a pas arbitraire du seul fait qu'une solution autre que celle de l'autorité cantonale semble concevable, voire préférable (<ref-ruling> consid. 2.2 p. 72; <ref-ruling> consid. 6.1 p. 205). Pour qu'une décision soit annulée pour cause d'arbitraire, il ne suffit pas que sa motivation soit insoutenable; il faut encore que cette décision soit arbitraire dans son résultat (<ref-ruling> consid. 3.4 p. 53).
3.
3.1. Est en l'espèce litigieux le droit du recourant à une rente d'invalidité à compter du 1er septembre 2013 dans le cadre de la demande initiale de prestations qu'il a déposée en juillet 2008. Dans la mesure où l'office intimé ne s'est pas prononcé sur le droit de l'assuré à une rente d'invalidité à la suite de la procédure de reclassement qui a pris fin le 31 janvier 2011, la demande présentée par le recourant en septembre 2013 ne peut en effet être considérée ni comme une demande de révision (<ref-law> et 87 al. 1 RAI), ni comme une deuxième demande (<ref-law>).
3.2. Le jugement attaqué expose de manière complète les dispositions légales et les principes jurisprudentiels relatifs à la notion d'invalidité (art. 7 et 8 al. 1 LPGA en relation avec l'<ref-law>) et à son évaluation (<ref-law> et <ref-law>), ainsi qu'à la valeur probante des rapports médicaux (<ref-ruling> consid. 5.1 p. 232; <ref-ruling> consid. 3 p. 352) et à la libre appréciation des preuves (art. 61 let. c LPGA). Il suffit d'y renvoyer.
4.
En se fondant essentiellement sur le rapport d'expertise du docteur E._, auquel ils ont accordé une pleine valeur probante, les premiers juges ont constaté qu'en raison d'atteintes à la santé d'ordre orthopédique, le recourant avait présenté une incapacité de travail dans toute activité de 50 % de septembre 2013 à mars 2015, date à partir de laquelle il avait recouvré une capacité de travail entière dans une activité adaptée, avec une baisse de rendement de 25 %. Après avoir examiné s'il convenait d'ordonner une expertise afin d'évaluer la capacité de travail de l'assuré sur le plan psychiatrique, ce qu'elle a nié faute d'indice rendant vraisemblable l'existence d'une fibromyalgie, d'un syndrome de fatigue chronique ou encore d'un syndrome somatoforme douloureux chronique en lien avec un état dépressif, la juridiction cantonale a reconnu le droit du recourant à une demi-rente d'invalidité pour la période allant du 1er septembre 2013 jusqu'à la fin du mois de mars 2015; elle a donc réformé la décision litigieuse en ce sens.
Les premiers juges ont ensuite déterminé le préjudice économique du recourant à compter du mois d'avril 2015. Pour ce faire, ils se sont référés aux salaires statistiques de l'Enquête suisse sur la structure des salaires 2014 (ESS 2014), qu'ils ont adaptés à la durée hebdomadaire moyenne usuelle dans les entreprises en 2014 (41,7 heures), ainsi qu'à l'évolution des salaires nominaux de 2014 à 2015 (+ 0,5 %). La juridiction de première instance a fixé le revenu sans invalidité de l'assuré à 69'740 fr., montant correspondant au salaire que l'intéressé aurait obtenu sans l'atteinte à la santé dans l'activité de gestionnaire en logistique dans laquelle il avait été reclassé avec succès en 2011 (salaire de référence auquel peuvent prétendre les hommes effectuant des activités simples et répétitives dans le secteur de la production, selon le TA1, chiffre 52 transport terrestre, par eau, aériens, entreposage, niveau de compétence 1 Hommes de l'ESS 2014). Quant au revenu avec invalidité, la juridiction cantonale l'a arrêté à 47'584 fr. 60 (montant correspondant au salaire de référence auquel peuvent prétendre les hommes effectuant des activités simples et répétitives dans le secteur privé toutes branches économiques confondues de la production et des services, selon le TA1, niveau de compétence 1 Hommes de l'ESS 2014 [66'785 fr. 40], sous déduction de 25 % correspondant à la diminution de rendement et d'un abattement de 5 % en raison de l'âge de l'assuré [60 ans en 2015]). Après comparaison des revenus de valide et d'invalide, les premiers juges ont fixé le taux d'invalidité du recourant à 32 % ([69'740 fr. - 47'584 fr. 60] / 69'740 fr. x 100 = 31,76 %). Partant, ils ont nié le droit de l'assuré à une rente d'invalidité au-delà du 31 mars 2015. Ils ont également considéré que des mesures professionnelles n'apparaissaient pas justifiées, dès lors que les limitations fonctionnelles que présente l'assuré, ainsi que les auto-limitations qu'il s'impose, ne lui permettent d'exercer que des activités simples et répétitives.
5.
5.1. En premier lieu, le recourant reproche à la juridiction cantonale d'avoir, d'une part, admis "sans aucune motivation, que l'incapacité de travail aurait soudainement disparu le 1er septembre 2015", et, d'autre part, de ne pas avoir ordonné d'expertise psychiatrique. Il allègue en substance que dans la mesure où l'expert E._ a indiqué que l'activité habituelle "était exigible à 50 %, puis après 6 mois à 100 %, les six mois étant nécessaires pour le reconditionnement musculaire", il en découle "qu'en l'absence de reconditionnement musculaire, la capacité de travail reste identique, soit à 50 %" au-delà du 1er septembre 2015. Il fait également valoir que dans la mesure où le docteur E._ a posé un diagnostic de trouble anxio-dépressif et "fait état de douleurs réellement ressenties [...] qui ont conduit à des autolimitations non justifiées du point de vue musculaire, mais non simulées", une expertise était nécessaire pour évaluer sa capacité de travail du point de vue psychiatrique, et établir notamment s'il était ou non capable sur le plan psychique d'effectuer un reconditionnement musculaire et de passer outre ses limitations fonctionnelles inexpliquées.
5.2. Le grief soulevé par le recourant concernant sa capacité de travail résiduelle est mal fondé. Tout d'abord, le recourant ne discute pas les constatations du Tribunal cantonal relatives à la période allant du mois de septembre 2013 au mois de mars 2015, si ce n'est de manière appellatoire, donc inadmissible (consid. 1). Ensuite, le recourant ne conteste pas que, du point de vue somatique (en particulier orthopédique), il présente depuis avril 2015 une capacité de travail entière dans une activité adaptée avec une diminution de rendement de 25 %. À ce propos, il fait valoir que cette capacité de travail n'est pas réalisable du fait qu'il n'a pas pu effectuer un reconditionnement musculaire. Cet argument n'est pas pertinent. Comme retenu par les juges cantonaux, qui se sont fondés sur le rapport du docteur E._, un reconditionnement musculaire n'était pas nécessaire pour reprendre une activité adaptée mais uniquement pour exercer l'activité de gestionnaire en logistique. Par ailleurs, l'exercice d'une activité adaptée n'était pas non plus subordonné à l'accomplissement de nouvelles mesures professionnelles. En outre, à raison les premiers juges n'ont pas donné suite à la demande du recourant de procéder à une expertise psychiatrique. Il est vrai que le docteur E._ a formulé le diagnostic de trouble anxio-dépressif. Il ressort toutefois des constatations cantonales que le diagnostic a été posé par un médecin qui n'est pas spécialiste en psychiatrie, que le docteur D._ a précisé que, sur le plan exclusivement psychique, son patient fonctionnait comme d'habitude (rapport du 27 novembre 2013), et qu'aucun élément au dossier ne permet d'inférer que le recourant eût été suivi par un psychiatre, ni qu'il eût reçu une médication spécifique. On observe que le recourant n'a produit aucun certificat médical attestant une atteinte à la santé psychique.
6.
6.1.
6.1.1. Le recourant reproche en deuxième lieu à la juridiction de première instance d'avoir déterminé son revenu sans invalidité en se référant aux données statistiques, au lieu de se référer à son salaire de chauffeur-livreur, activité qu'il a exercée jusqu'en 2008 auprès de la société B._ SA. Selon l'assuré, son revenu sans invalidité devait ainsi être fixé à 73'911 fr. pour 42,5 heures de travail hebdomadaire en 2014 (montant correspondant au salaire qu'il avait perçu en 2008 auprès de la société B._ SA [67'811 fr.], augmenté d'un renchérissement annuel de 9,1 points entre 2008 et 2015).
6.1.2. Le grief du recourant concernant le salaire sans invalidité est partiellement bien fondé. Selon la jurisprudence, le revenu sans invalidité doit en effet être évalué de la manière la plus concrète possible, avec pour conséquence qu'il se déduit en principe du salaire réalisé en dernier lieu par la personne assurée avant l'atteinte à la santé, en tenant compte de l'évolution des salaires jusqu'au moment de la naissance du droit à la rente (cf. <ref-ruling> consid. 2.3 p. 593; <ref-ruling> consid. 4.3.1 p. 224 et les références).
En l'espèce, dans la mesure où l'assuré a cessé en 2008 son activité de chauffeur-livreur auprès de la société B._ SA pour des raisons de santé et qu'il n'a jamais pu exercer l'activité de gestionnaire en logistique (pour laquelle il avait bénéficié d'un reclassement professionnel), c'est à juste titre qu'il allègue que celle-ci ne peut pas être considérée comme son activité habituelle. Partant, le revenu sans invalidité doit être déterminé en fonction du salaire qu'il a réalisé en dernier lieu auprès de la société B._ SA, soit 67'811 fr. en 2008 conformément à ce qui est indiqué dans le questionnaire pour l'employeur rempli le 7 août 2008. Après adaptation de ce montant à l'évolution des salaires selon l'indice des salaires nominaux à l'année 2015 (+ 2,1 % en 2009, + 0,8 % en 2010, + 1 % en 2011, + 0,8 % en 2012, + 0,7 % en 2013, + 0,8 % en 2014, et + 0,4 % en 2015; voir le tableau T 39 "Evolution des salaires nominaux, des prix à la consommation et des salaires réels", 1976-2009 et 2010-2017; site internet de l'Office fédéral de la statistique [OFS]: https://www.bfs.admin.ch [consulté le 21 mars 2019]), le revenu sans invalidité du recourant doit être arrêté à 72'408 fr. 90 par an.
6.2. Le recourant conteste en outre le salaire après invalidité retenu par le Tribunal cantonal à différents égards.
6.2.1. Il reproche aux premiers juges de s'être fondés sur le salaire de référence auquel peuvent prétendre les hommes effectuant des activités simples et répétitives dans le secteur privé toutes branches économiques confondues de la production et des services (soit 66'785 fr. 40 par an; soit: 5'312 fr. par mois x 12, selon le TA1, niveau de compétence 1 Hommes de l'ESS 2014, après indexation) pour déterminer son revenu d'invalide. Il soutient que la juridiction cantonale aurait dû se référer au salaire auquel peuvent prétendre les hommes effectuant des activités simples et répétitives dans le secteur uniquement du commerce de détail (soit 56'400 fr. [recte: 57'204 fr.] par an, respectivement 4'700 fr. [recte: 4'767 fr.] par mois, selon le TA1, chiffre 47 commerce de détail, niveau de compétence 1 Hommes de l'ESS 2014), étant donné qu'"il a plus de chances de trouver un emploi adéquat à ses capacités au vu des limitations importantes pour le port des charges".
Ce grief du recourant concernant le salaire après invalidité est mal fondé. Dans la mesure où il semble mettre en discussion l'exigibilité d'une activité de substitution, il convient de préciser qu'il s'agit d'une contestation en relation avec la capacité de travail résiduelle qui a été déjà traitée ci-dessus dans le consid. 5.2. Or les limitations fonctionnelles retenues par les juges cantonaux ne permettent pas de retenir que seules des activités simples et répétitives issues d'un secteur particulier de la production et des services, en l'occurrence, le commerce de détail, seraient adaptées. La référence à toutes les branches des services et de la production opérée par le Tribunal cantonal permet au contraire au recourant d'élargir ses possibilités de réinsertion sur l'ensemble du marché du travail suisse, comme il y est tenu en vertu de son obligation de diminuer le dommage (arrêt 9C_297/2011 du 31 janvier 2012 consid. 4.2.3).
6.2.2. Le recourant critique également l'indexation du revenu statistique avec invalidité. Compte tenu du fait que, à son avis, les salaires auraient en réalité baissé en 2016 et non augmenté, il en conteste l'adaptation. Ce reproche n'est pas davantage fondé. En cas de recours à des salaires statistiques, ceux-ci doivent être adaptés à l'évolution des salaires nominaux correspondant à l'année déterminante pour l'ouverture du droit à la rente, conformément aux indices établis par l'Office fédéral de la statistique (OFS; cf. <ref-ruling> consid. 2.3 p. 593; <ref-ruling> consid. 4.3.1 p. 224 et les références).
En l'espèce, on constate cependant que les premiers juges ont procédé à une indexation erronée du revenu statistique d'invalide de 2014 à 2015. L'indexation a en effet atteint 0,4 % et non 0,5 % comme ils l'ont retenu. En conséquence, en indexant de 0,4 % le salaire de référence auquel peuvent prétendre les hommes effectuant des activités simples et répétitives dans le secteur privé toutes branches économiques confondues de la production et des services selon le TA1, niveau de compétence 1 Hommes de l'ESS 2014 (soit 5'312 fr. par mois), on parvient à un montant de 66'718 fr. 90 par an (soit: [5'312 fr. x 12] x [41,7 : 40] = 66'453 fr. 10; 66'453 fr. 10 + [66'453 fr. 10./. 100 x 0,4] = 66'718 fr. 90), et non de 66'785 fr. 40.
6.2.3. Le recourant s'en prend aussi au refus des premiers juges de procéder à un abattement supplémentaire de 25 % "pour tenir compte des limitations fonctionnelles en sus de la diminution de rendement de 25 % admise par l'expert".
En ce qui concerne le taux d'abattement, on rappellera que la mesure dans laquelle les salaires ressortant des statistiques doivent être réduits dépend de l'ensemble des circonstances personnelles et professionnelles du cas particulier (limitations liées au handicap, âge, années de service, nationalité/catégorie d'autorisation de séjour et taux d'occupation). Une déduction globale maximale de 25 % sur le salaire statistique permet de tenir compte des différents éléments qui peuvent influencer le revenu d'une activité lucrative (cf. <ref-ruling> consid. 5b/aa-cc p. 79 s.). Le point de savoir s'il y a lieu de procéder à un abattement sur le salaire statistique en raison de circonstances particulières (liées au handicap de la personne ou à d'autres facteurs) est une question de droit qui peut être examinée librement par le Tribunal fédéral; en revanche, l'étendue de l'abattement du salaire statistique dans un cas concret constitue une question relevant du pouvoir d'appréciation, qui est soumise à l'examen du juge de dernière instance uniquement si la juridiction cantonale a exercé son pouvoir d'appréciation de manière contraire au droit, soit si celle-ci a commis un excès positif ("Ermessensüberschreitung") ou négatif ("Ermessensunterschreitung") de son pouvoir d'appréciation ou a abusé ("Ermessensmissbrauch") de celui-ci, notamment en retenant des critères inappropriés, en ne tenant pas compte de circonstances pertinentes, en ne procédant pas à un examen complet des circonstances pertinentes ou en n'usant pas de critères objectifs (<ref-ruling> consid. 5.1 p. 72; <ref-ruling> consid. 3.3 p. 399; <ref-ruling> consid. 1.2 p. 180).
En l'espèce, la juridiction cantonale a admis un abattement de 5 % afin de tenir compte de l'âge de l'assuré. En retenant une diminution de rendement de 25 % en raison de la lenteur d'exécution du recourant, le Tribunal cantonal a déjà pris en considération les limitations fonctionnelles et les auto-limitations que le recourant s'impose lors de l'évaluation de la capacité de travail du point de vue médical. Aussi ces auto-limitations ne doivent-elles pas être prises en compte une seconde fois, comme facteur d'abattement. Quant à l'absence d'expérience et de formation, elle ne joue pas de rôle en l'occurrence dès lors que le revenu d'invalide a été déterminé en référence au salaire statistique auquel peuvent prétendre les hommes effectuant des activités simples et répétitives (arrêt 9C_297/2011 du 31 janvier 2012 consid. 4.1.5). Partant, seul un abattement de 5 % apparaît justifié.
6.3. Après comparaison du revenu de valide (72'408 fr. 90; supra consid. 6.1.2) avec le revenu d'invalide (47'537 fr. 20, soit 66'718.90 moins 25 % pour diminution de rendement et moins 5 % pour l'abattement), on parvient à un taux d'invalidité de 34 % (soit: [72'408 fr. 90 - 47'537 fr. 20]./. 72'408 fr. 90 fr. = 34,35 %), insuffisant pour ouvrir le droit à une rente d'invalidité au-delà du 31 mars 2015. Le recours est donc mal fondé.
7.
Vu l'issue de la procédure, les frais judiciaires sont à la charge du recourant (<ref-law>). Il a cependant sollicité le bénéfice de l'assistance judiciaire gratuite pour l'instance fédérale. Dès lors que les conditions en sont réalisées (<ref-law>), le recourant est dispensé du paiement des frais judiciaires et les honoraires de son avocate seront pris en charge par la caisse du Tribunal fédéral. L'attention du recourant est attirée sur le fait qu'il devra rembourser la caisse du Tribunal fédéral s'il devient en mesure de le faire ultérieurement (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
L'assistance judiciaire est accordée et M e Kathrin Gruber est désigné comme avocate d'office du recourant.
3.
Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge du recourant. Ils sont toutefois supportés provisoirement par la caisse du Tribunal fédéral.
4.
Une indemnité de 2'800 fr. est allouée à l'avocate du recourant à titre d'honoraires à payer par la caisse du Tribunal fédéral.
5.
Le présent arrêt est communiqué aux parties, au Tribunal cantonal du canton de Vaud, Cour des assurances sociales, et à l'Office fédéral des assurances sociales.
Lucerne, le 2 avril 2019
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
La Présidente : Pfiffner
La Greffière : Perrenoud