Faits :
A.
A._, au bénéfice d'une formation de dessinateur en génie civil, a travaillé depuis mars 1998 en qualité de magasinier au service de la société C._ SA. Le 30 juin 2008, il a déposé une demande de prestations de l'assurance-invalidité, invoquant une maladie professionnelle et des douleurs dorsales.
L'assuré a fait l'objet d'un examen clinique rhumatologique et psychiatrique par le SMR Suisse romande. Dans leur rapport du 22 janvier 2009, les docteurs B._, spécialiste en médecine interne et rhumatologie, et D._, spécialiste en psychiatrie et psychothérapie, ont posé les diagnostics, avec répercussion sur la capacité de travail, de rachialgies diffuses dans le cadre de troubles statiques et dégénératifs du rachis avec maladie de Forestier et notion anamnestique d'olisthésis L5-S1 (M54), ainsi que de syndrome rotulien bilatéral (M22.2); aucun diagnostic psychiatrique incapacitant n'a été retenu. Parmi les diagnostics sans répercussion sur la capacité de travail, le SMR a notamment relevé un syndrome douloureux somatoforme persistant (F45.4). Pour ces deux médecins, la capacité de travail de l'assuré était nulle dans son activité habituelle de gestionnaire de logistique sans dispense de charge; en revanche, elle restait entière dans cette activité avec dispense de charge, ainsi que dans toute activité adaptée.
Dans un projet de décision du 17 août 2011, l'Office de l'assurance-invalidité pour le canton de Vaud (l'office AI) a fait savoir à l'assuré qu'il envisageait de rejeter sa demande de prestations, compte tenu du taux d'invalidité de 30 %. L'office AI a par la suite confié un mandat d'expertise au docteur D._. Dans son rapport du 10 janvier 2012, ce médecin n'a posé aucun diagnostic psychiatrique ayant une répercussion sur la capacité de travail; il a diagnostiqué une dysthymie (F34.1) sans répercussion sur la capacité de travail.
Par décision du 28 mars 2012, l'office AI a arrêté le taux d'invalidité à 30 % et nié le droit à la rente.
B.
A._ a déféré cette décision au Tribunal cantonal du canton de Vaud, Cour des assurances sociales, en concluant au versement au moins d'une demi-rente d'invalidité depuis le 11 juin 2009.
Un mandat d'expertise pluridisciplinaire (rhumatologique, diabétologique, oto-rhinologique et psychiatrique) a été confié à la Policlinique médicale E._. Dans leur rapport du 22 juillet 2014, les doctoresses F._, spécialiste en médecine interne, H._, spécialiste en médecine interne et rhumatologie, ainsi que le docteur G._, spécialiste en psychiatrie et psychothérapie, ont diagnostiqué avec influence essentielle sur la capacité de travail des troubles cognitifs d'origine probablement somatique (F32.1), un épisode dépressif d'intensité moyenne (F03), un trouble somatoforme douloureux persistant (F45.4), et des rachialgies chroniques dans le contexte de troubles dégénératifs et maladie de Forestier (M48.1). Pour les experts, l'ensemble des troubles physiques et psychiques a engendré probablement depuis 2008 une baisse de la capacité de travail et de rendement, non chiffrable au vu du manque de renseignements à disposition. En se basant sur les expertises précédentes, ils ont indiqué ne pouvoir relever aucune incapacité de travail partielle avant septembre 2013. Sur le plan psychiatrique, les experts ont précisé que le trouble somatoforme documenté présent de longue date s'alourdissait actuellement d'une comorbidité psychiatrique et neuropsychologique sévère et entraînait une incapacité de travail totale depuis septembre 2013.
Le tribunal cantonal a rendu un premier jugement, le 21 juillet 2015, qui a été annulé par le Tribunal fédéral afin que des débats publics soient tenus (arrêt 9C_641/2015 du 21 juin 2016).
Par jugement du 22 septembre 2016, la juridiction cantonale a admis partiellement le recours (ch. I du dispositif). Elle a réformé la décision administrative du 28 mars 2012 en ce sens que l'assuré a été mis au bénéfice d'un quart de rente, fondé sur un degré d'invalidité de 43 %, à compter du 1 er novembre 2009 (ch. II). En outre, elle a "renvoyé" la cause à l'office AI afin qu'il statue sur les conséquences de l'aggravation observée à compter de septembre 2013 (ch. III).
C.
A._ interjette un recours en matière de droit public contre ce jugement dont il demande l'annulation. A titre principal, il conclut à l'octroi d'une demi-rente d'invalidité au moins depuis le 1 er novembre 2009, puis d'une rente entière à compter du 1 er octobre 2013. A titre subsidiaire, il conclut au renvoi de la cause aux premiers juges. Le Tribunal cantonal s'est prononcé sur les circonstances de l'audience du 1 er septembre 2016. L'office AI se réfère entièrement au jugement entrepris, tandis que l'Office fédéral des assurances sociales a renoncé à se déterminer.

Considérant en droit :
1.
Le recours en matière de droit public peut être formé pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (<ref-law>), sans être limité par les arguments de la partie recourante ou par la motivation de l'autorité précédente. Le Tribunal fédéral n'examine en principe que les griefs invoqués, compte tenu de l'exigence de motivation prévue à l'<ref-law>, et ne peut aller au-delà des conclusions des parties (<ref-law>). Il fonde son raisonnement sur les faits retenus par la juridiction de première instance (<ref-law>) sauf s'ils ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law> (<ref-law>). La partie recourante qui entend s'écarter des faits constatés doit expliquer de manière circonstanciée en quoi les conditions de l'<ref-law> sont réalisées sinon un état de fait divergent ne peut être pris en considération. Aucun fait nouveau ni preuve nouvelle ne peut être présenté à moins de résulter de la décision de l'autorité précédente (<ref-law>).
2.
De jurisprudence constante, le juge des assurances sociales apprécie la légalité des décisions attaquées d'après l'état de fait existant au moment où la décision litigieuse a été rendue. Les faits survenus postérieurement et ayant modifié cette situation doivent faire l'objet d'une nouvelle décision administrative (<ref-ruling> consid. 2.1 p. 243; <ref-ruling> consid. 1b p. 366). Pour des motifs d'économie de procédure, la procédure juridictionnelle administrative peut être étendue à une question en état d'être jugée qui excède l'objet de la contestation, c'est-à-dire le rapport juridique visé par la décision, lorsque cette question est si étroitement liée à l'objet initial du litige que l'on peut parler d'un état de fait commun, et à la condition que l'administration se soit exprimée à son sujet dans un acte de procédure au moins (<ref-ruling> consid. 1.2 p. 503; <ref-ruling> consid. 2a p. 36 et les références).
L'autorité de recours saisie n'est pas tenue d'élargir la procédure au-delà de l'objet du litige ou de la contestation. Si elle ne fait pas usage de cette faculté, le Tribunal fédéral ne s'en préoccupe pas (arrêt K 117/92 du 21 avril 1993 consid. 2b; ULRICH MEYER/ISABEL VON ZWEHL, L'objet du litige en procédure de droit administratif fédéral, in Mélanges Pierre Moor, 2005, n° 24 p. 445 et 28 p. 447).
En l'espèce, il suffit de constater que l'autorité précédente a renoncé à élargir la procédure et qu'elle a motivé son choix. Cela ne porte aucunement atteinte aux droits du recourant qui sont préservés pour la période postérieure à la décision administrative du 28 mars 2012. En outre, comme le pouvoir d'examen temporel du juge était restreint à la situation prévalant à cette date, l'intimé était en droit de rendre d'autres décisions concernant la période subséquente sans attendre que le litige issu de la décision du 28 mars 2012 soit tranché, contrairement à ce que le recourant laisse entendre.
A cet égard, le ch. III du dispositif du jugement attaqué ne constitue pas une décision incidente portant sur un renvoi pour instruction complémentaire, contre laquelle le Tribunal fédéral n'aurait pu être saisi que si les conditions de l'<ref-law> avaient été réalisées. En l'absence de procédure pendante touchant les droits du recourant postérieurement au 28 mars 2012, il s'agit simplement d'une transmission du dossier à l'autorité compétente.
3.
Pour trancher le litige en regard de la situation factuelle régnant à l'époque où la décision du 28 mars 2012 avait été rendue, les premiers juges se sont fondés sur les rapports des docteurs B._ et D._, ainsi que celui de la Policlinique E._. Ils ont admis que les conclusions des spécialistes mandatés convergeaient, non seulement sur le plan psychique mais également du point de vue somatique, relevant que les experts de la Policlinique E._ avaient renvoyé sans réserve aux précédents examens réalisés au sein du SMR puis par le docteur D._.
En ce qui concerne le volet psychiatrique, la juridiction cantonale a suivi les conclusions du SMR, respectivement du docteur D._, implicitement confirmées par la Policlinique E._. Elle a ainsi constaté l'absence de toute incapacité de travail à la date du 28 mars 2012.
Au sujet des troubles somatiques, les juges cantonaux ont constaté que les diagnostics du SMR et de la Policlinique E._ étaient superposables pour l'essentiel. Ils ont exposé les raisons pour lesquelles ils se sont écartés de l'appréciation du docteur I._, rhumatologue, et celles qui les ont conduits à admettre que les troubles cognitifs n'étaient pas pris en compte dans l'évaluation de la capacité de travail. Ils ont ainsi admis que le recourant conservait une capacité de travail entière dans une activité respectant les limitations fonctionnelles consécutives à ses troubles du rachis.
Procédant à la comparaison des revenus, les premiers juges ont confirmé le revenu sans invalidité de 90'648 fr. que l'intimé avait retenu pour l'année 2009. En revanche, ils ont arrêté le revenu d'invalide à 52'054 fr. pour cette année-là. Le taux d'invalidité obtenu de 43 % ouvrait ainsi droit à un quart de rente à partir du 1er novembre 2009, de sorte qu'ils ont réformé la décision du 28 mars 2012 en ce sens.
4.
En ce qui concerne la situation qui prévalait jusqu'au 31 août 2013, le recourant soutient que les premiers juges ont constaté de manière inexacte que les experts de la Policlinique E._ s'étaient ralliés aux résultats des examens antérieurs, confirmant l'absence d'incapacité de travail avant septembre 2013. A son avis, après avoir retenu qu'il existait probablement depuis 2008 une baisse de la capacité de travail et de rendement, les experts ont renvoyé aux expertises précédentes qui ne mentionnaient aucune incapacité de travail, cela par pure commodité et en raison du fait qu'ils ne pouvaient s'exprimer avec fiabilité au vu du manque de documents.
Pour le recourant, ce renvoi n'est pas convaincant dans la mesure où il vise essentiellement le rapport du docteur D._ du 10 janvier 2012. Il soutient que ce rapport ne saurait être assimilé à une expertise au sens de l'<ref-law>, car ce médecin avait participé à un précédent examen clinique rhumatologique et psychiatrique sous l'égide du SMR (cf. rapport du 22 janvier 2009). Le recourant observe que l'avis du docteur D._, qui excluait un trouble dépressif récurrent en janvier 2012, est en totale contradiction avec ceux des docteurs I._ et J._, généraliste, qui relevaient à la même époque qu'il était traité pour un état dépressif sévère. De plus, il n'est pas réaliste de considérer que sa capacité de travail serait passée de 100 % à 0 % en septembre 2013, du fait de son licenciement.
Le recourant soutient que le docteur D._ n'aurait pas respecté les usages et lignes directrices de qualité des expertises psychiatriques dans le domaine de l'assurance-invalidité émanant de la Société suisse de psychiatrie et psychothérapie, alléguant que l'entretien n'avait duré que cinq minutes. L'expert ne se serait ainsi positionné que par rapport à l'avis de son médecin traitant, le docteur J._, omettant de discuter l'avis du docteur I._, et appréciant de surcroît de manière erronée les déclarations d'autres généralistes et spécialistes qui le suivaient et qui avaient constaté que ses troubles psychiques s'aggravaient progressivement. Dans ces conditions, le recourant en déduit que la juridiction de recours aurait dû sinon écarter ou minimiser la portée de l'expertise du docteur D._, à tout le moins diligenter une expertise complémentaire.
Selon le recourant, la juridiction cantonale n'était liée ni par l'appréciation du docteur D._ ni par le renvoi des experts de la Policlinique E._ à cet avis, dans la mesure où il est entaché de vices mettant sérieusement en doute sa fiabilité. A son avis, il conviendrait plutôt de suivre les experts de la Policlinique E._ pour lesquels il existait probablement depuis 2008 une baisse de la capacité de travail et de rendement, et de retenir l'appréciation des docteurs J._ et I._ qui estimaient que cette incapacité de travail était d'au moins 50 % depuis 2008 dans une activité adaptée à son état de santé.
5.
5.1. Par communication du 1er décembre 2011, l'office intimé avait informé le mandataire du recourant qu'il était nécessaire de procéder à une expertise médicale, laquelle allait être effectuée par le docteur D._. A cette occasion, le recourant avait été rendu attentif à la faculté qui était la sienne de récuser l'expert dans un délai de dix jours. Comme le recourant n'avait pas soulevé d'objections et s'était soumis à l'expertise, le moyen tiré de l'absence d'indépendance de l'expert est tardif.
Pour le surplus, le recourant ne démontre pas en quoi le rapport d'expertise du docteur D._ du 10 janvier 2012 ne satisferait pas aux réquisits jurisprudentiels relatifs à la force probante de tels documents (cf. <ref-ruling> consid. 3a p. 352). Il en va de même du rapport du SMR du 22 janvier 2009, établi à la suite d'un examen clinique rhumatologique et psychiatrique. On peut à cet égard renvoyer aux consid. 5a et 5b pp. 32-33 du jugement attaqué, auxquels la Cour de céans n'a rien à ajouter.
5.2.
5.2.1. En principe, le juge ne s'écarte pas sans motifs impératifs des conclusions d'une expertise médicale judiciaire, la tâche de l'expert étant précisément de mettre ses connaissances spéciales à la disposition de la justice afin de l'éclairer sur les aspects médicaux d'un état de fait donné. Selon la jurisprudence, peut constituer une raison de s'écarter d'une expertise judiciaire le fait que celle-ci contient des contradictions, ou qu'une surexpertise ordonnée par le tribunal en infirme les conclusions de manière convaincante. En outre, lorsque d'autres spécialistes émettent des opinions contraires aptes à mettre sérieusement en doute la pertinence des déductions de l'expert, on ne peut exclure, selon les cas, une interprétation divergente des conclusions de ce dernier par le juge ou, au besoin, une instruction complémentaire sous la forme d'une nouvelle expertise médicale (<ref-ruling> consid. 3b/aa p. 352 et les références).
Par ailleurs, lorsque, comme en l'occurrence, l'autorité de recours de première instance juge l'expertise judiciaire concluante et en fait sien le résultat, le Tribunal fédéral n'admet le grief d'appréciation arbitraire que si l'expert n'a pas répondu aux questions posées, si ses conclusions sont contradictoires ou si, d'une quelconque autre façon, l'expertise est entachée de défauts à ce point évidents et reconnaissables, même sans connaissances spécifiques, que le juge ne pouvait tout simplement pas les ignorer. Il n'appartient pas au Tribunal fédéral de vérifier si toutes les affirmations de l'expert sont exemptes d'arbitraire; sa tâche se limite bien plutôt à examiner si l'autorité intimée pouvait, sans arbitraire, se rallier au résultat de l'expertise (arrêt 9C_587/2014 du 20 octobre 2014 consid. 6.1; voir également <ref-ruling> consid. 3b/aa p. 352 et les références).
Dans ce contexte, on rappellera qu'il n'appartient pas au juge de remettre en cause le diagnostic retenu par un médecin et de poser de son propre chef des conclusions qui relèvent de la science et des tâches du corps médical. Il convient bien plutôt pour la partie qui entend remettre en cause le bien-fondé du point de vue médical sur lequel se sont fondées les autorités judiciaires de mettre en évidence des éléments objectivement vérifiables - de nature notamment clinique ou diagnostique - qui auraient été ignorés dans le cadre de l'appréciation et qui seraient suffisamment pertinents.
5.2.2. Le recourant met en exergue une contradiction dans les conclusions des experts de la Policlinique E._ (cf. rapport du 22 juillet 2014, p. 40), dans la mesure où ces derniers avaient parlé d'une probable baisse de la capacité de travail et de rendement en 2008, mais finalement admis qu'il n'y avait pas d'incapacité de travail avant septembre 2013. Il en déduit que les experts, respectivement le tribunal cantonal, auraient dû se ranger à l'avis des docteurs J._ et I._ qui avaient attesté une incapacité de travail de 50 %.
Dans son argumentaire, le recourant oublie que les experts de la Policlinique E._ avaient clairement exposé qu'ils partageaient les conclusions du SMR rendues en 2009 ainsi que celles de l'expert D._ déposées en 2012, car la probable baisse de capacité de travail et de rendement en 2008 n'était pas chiffrable au vu du manque de renseignements à disposition. A la lumière des explications des experts de la Policlinique E._, les constatations de fait des premiers juges ne peuvent être qualifiées ni de manifestement inexactes ni d'insoutenables. On se trouve dans la situation où l'administration des preuves à laquelle le tribunal cantonal a procédé conformément à l'art. 61 let. c LPGA n'a pas permis de documenter l'existence d'une incapacité de travail dans une activité adaptée au jour où la décision administrative avait été rendue (le 28 mars 2012). Le juge des assurances sociales fonde en effet sa décision, sauf dispositions contraires de la loi, sur les faits qui, faute d'être établis de manière irréfutable, apparaissent comme les plus vraisemblables, c'est-à-dire qui présentent un degré de vraisemblance prépondérante (<ref-ruling> consid. 5b p. 360; <ref-ruling> consid. 2 p. 195 et les références; cf. <ref-ruling> consid. 3.2 et 3.3 p. 324 s.). Il ne suffit donc pas qu'un fait puisse être considéré seulement comme une hypothèse possible. En l'espèce, la juridiction cantonale a appliqué correctement la règle selon laquelle il n'existe pas, en droit des assurances sociales, un principe selon lequel l'administration ou le juge devrait statuer, dans le doute, en faveur de l'assuré.
5.2.3. Dans son rapport d'expertise du 10 janvier 2012 (p. 6), le docteur D._ avait indiqué que son examen clinique psychiatrique n'avait pas montré de signe de syndrome douloureux somatoforme persistant incapacitant. Quant aux experts de la Policlinique E._, ils ont constaté dans leur rapport du 22 juillet 2014 que le trouble somatoforme documenté présent de longue date s'alourdissait actuellement d'une comorbidité psychiatrique et
neuropsychologique sévère et entraînait une incapacité de travail totale depuis septembre 2013.
Sur le plan du droit intertemporel, il y a lieu de procéder par analogie avec l'<ref-ruling> (qui concerne les exigences requises dans un Etat de droit en matière d'expertises médicales). Selon cet arrêt, les expertises mises en oeuvre selon les anciens standards de procédure ne perdent pas d'emblée toute valeur probante. Il convient bien plutôt de se demander si, dans le cadre d'un examen global, et en tenant compte des spécificités du cas d'espèce et des griefs soulevés, le fait de se fonder définitivement sur les éléments de preuve existants est conforme au droit fédéral (ATF précité consid. 6 in initio p. 266). Ces considérations peuvent être appliquées par analogie aux nouvelles exigences de preuve en ce sens qu'il y a lieu d'examiner dans chaque cas si les expertises administratives et/ou les expertises judiciaires recueillies - le cas échéant en les mettant en relation avec d'autres rapports médicaux - permettent ou non une appréciation concluante du cas à l'aune des indicateurs déterminants. Selon l'étendue de l'instruction déjà mise en oeuvre, il peut s'avérer suffisant de requérir un complément d'instruction sur certains points précis (<ref-ruling> consid. 8 p. 309).
L'examen du rapport d'expertise du docteur D._ du 10 janvier 2012 à l'aune de l'<ref-ruling> (cf. consid. 4.1.3 p. 297) ne permet pas d'aboutir à une appréciation différente du cas puisque le médecin a nié le degré de sévérité inhérent au diagnostic de trouble somatoforme douloureux, ce que le recourant ne discute pas; il ne se justifie donc pas de requérir un complément d'instruction. Il en va de même à la lecture du rapport d'expertise judiciaire du 22 juillet 2014, car ses auteurs n'ont pas remis en cause l'avis de leur confrère D._, mais ont précisé que leur appréciation du caractère totalement invalidant du trouble somatoforme douloureux ne valait qu'à partir du mois de septembre 2013. On saisit donc mal comment la situation médicale prévalant au 28 mars 2012 pourrait être mieux éclaircie dans le cadre d'un renvoi, dès lors que les experts judiciaires ont déclaré que la baisse de la capacité de travail et de rendement n'était pas chiffrable à ce moment-là.
5.2.4. Le recourant soutient qu'il a été soumis à des exigences excessives en matière de réduction du dommage, eu égard à son âge et à la capacité de travail de 50 %. Il demande que son degré d'invalidité soit fixé en tenant compte du contrat de travail à 50 % qui l'avait lié à son employeur du 6 avril 2009 au 30 septembre 2013, pour lequel il percevait un revenu annuel brut de 38'137 fr. 50.
Le raisonnement du recourant ne peut être suivi, car sa capacité de travail était entière et non seulement de 50 % dans une activité adaptée. Né en 1955, il n'était d'ailleurs pas proche de l'âge de la retraite au moment où cette exigibilité a été médicalement constatée, soit en 2009 par le SMR, puis en 2012 par le docteur D._ (cf. <ref-ruling> consid. 3.3 p. 462).
5.3. Quant au droit du recourant d'être entendu, il a été respecté, notamment par la tenue des débats publics qui ont eu lieu le 1 er septembre 2016 au cours desquels les parties ont eu l'opportunité de plaider tant le fait que le droit, sans restriction aucune (cf. prise de position du Tribunal cantonal du 6 janvier 2017).
6.
Il résulte de ce qui précède que le recours est en tous points mal fondé, ce qui entraîne son rejet.
7.
Vu l'issue de la procédure, le recourant doit supporter les frais y afférents (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties, au Tribunal cantonal du canton de Vaud, Cour des assurances sociales, et à l'Office fédéral des assurances sociales.
Lucerne, le 1er mai 2017
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
La Présidente : Pfiffner
Le Greffier : Berthoud