Faits :
A.
A._ a déposé une demande de prestations de l'assurance-invalidité, le 20 décembre 2006, en invoquant une lésion d'origine traumatique au genou droit.
Dans un rapport d'expertise rhumatologique et psychiatrique du 8 février 2012, les docteurs B._, spécialiste en rhumatologie et médecine interne, et C._, spécialiste en psychiatrie et psychothérapie, médecins au Centre d'expertises médicales D._), ont attesté que l'assuré était en mesure d'exercer à 70 % toute activité adaptée à ses compétences, avec une réserve, sur le plan physique, pour le travail en hauteur ou avec des machines dangereuses.
Par décision du 20 mars 2013, l'Office de l'assurance-invalidité du canton de Genève (ci-après: l'office AI) a alloué à l'intéressé une rente entière d'invalidité de février 2007 à avril 2009.
B.
A._ a déféré cette décision à la Cour de justice de la République et canton de Genève, Chambre des assurances sociales, en concluant au maintien de la rente au-delà du 30 avril 2009, subsidiairement à la prise en charge d'une mesure de réinsertion.
La juridiction cantonale a ordonné une expertise psychiatrique qu'elle a confiée au docteur E._, spécialiste en psychiatrie et psychothérapie. L'expert a déposé son rapport le 4 mai 2015; il a notamment attesté que l'état dépressif majeur avec ses caractéristiques psychotiques induisait une incapacité de travail totale, cela depuis septembre 2006. Le 3 juillet 2015, l'office AI s'est déterminé sur l'expertise judiciaire.
Par jugement du 23 décembre 2015, le tribunal cantonal a admis le recours et annulé la décision du 20 mars 2013 en tant qu'elle limitait le droit à la rente au 30 avril 2009.
C.
L'office AI interjette un recours en matière de droit public contre ce jugement dont il demande l'annulation en concluant principalement à la confirmation de sa décision du 20 mars 2013, subsidiairement au renvoi de la cause aux premiers juges pour mise en place d'une nouvelle expertise judiciaire.
L'assuré intimé conclut au rejet du recours. L'Office fédéral des assurances sociales a renoncé à se déterminer.

Considérant en droit :
1.
Le litige porte sur le taux d'invalidité de l'intimé et son droit au maintien d'une rente entière d'invalidité au-delà du 30 avril 2009, singulièrement sur l'incapacité de travail liée aux troubles psychiques.
2.
Les premiers juges ont exposé correctement les règles applicables à la solution du litige, si bien qu'il suffit de renvoyer au jugement attaqué.
3.
Dans ses déterminations du 3 juillet 2015 fondées sur l'avis du docteur F._ du 29 mai 2015, médecin au Service médical G._, l'office recourant avait remis en cause les conclusions de l'expertise judiciaire. A propos du trouble dépressif, il avait soutenu qu'il n'était pas possible de retenir un état dépressif sévère sur la base de la description de l'état psychique faite par le docteur E._. En effet, l'expert rapportait que l'intimé ne présentait pas de signe dépressif important hormis une baisse de la thymie et un sentiment flou de persécution. Le recourant avait relevé que l'expert avait signalé la discordance des résultats des tests de la dépression et l'importance des éléments subjectifs.
La juridiction cantonale a mentionné les griefs de l'office recourant relatifs au diagnostic - contesté - de trouble dépressif sévère (ch. 55 de l'état de fait du jugement attaqué, p. 17). Procédant à une synthèse des opinions des médecins qui s'étaient exprimés à propos de cette affection psychique (cf. consid. 11, p. 23-24 du jugement), elle a relevé que les experts du Centre D._ avaient conclu à un épisode dépressif moyen avec syndrome somatique entraînant une diminution de la capacité de travail de 30 % depuis novembre 2007, tandis qu'entre juillet 2008 et juin 2010 les psychiatres traitants de l'intimé avaient attesté un trouble dépressif récurrent d'intensité moyenne à sévère (cf. rapports des doctoresses H._ des 14 décembre 2009 et 21 juin 2010, et I._ du 22 décembre 2009). En ce qui concerne le rapport d'expertise judiciaire, les juges cantonaux ont constaté que le docteur E._ avait exposé en détail les raisons qui l'avaient amené à retenir tel ou tel diagnostic et à écarter tel autre. A cet égard, ils ont admis que les nombreux détails factuels et personnels qui figurent dans le rapport de l'expert n'avaient pas pour but de justifier ses diagnostics par des considérations d'ordre social, mais d'illustrer les motifs qui l'avaient conduit à pencher pour un diagnostic plutôt qu'un autre. En particulier, les juges ont admis que l'expert E._ avait ainsi mis en évidence l'impact de l'irritabilité explosive de l'intimé sur son quotidien et l'imbrication du trouble psychique avec le trouble de la personnalité, déjà évoqué ou suggéré par le passé par certains psychiatres traitants, sans précision. Les premiers juges ont déduit qu'il fallait se ranger aux conclusions de l'expert judiciaire, en l'absence de motifs impératifs permettant de s'en écarter. Ils ont constaté que l'intimé était atteint d'un trouble dépressif sévère cristallisé et rebelle aux traitements, avec une composante paranoïaque, associé à un trouble de la personnalité également sévère et décompensé, qui entraînaient, à eux deux, une totale incapacité de travail (consid. 11 p. 24 du jugement attaqué).
4.
Devant le Tribunal fédéral, l'office recourant développe l'argumentation qu'il avait présentée dans ses observations du 3 juillet 2015. Il se plaint d'une violation du droit fédéral et reproche à la juridiction cantonale d'avoir procédé à une appréciation manifestement inexacte des faits et des preuves, en ayant repris à son compte les conclusions de l'expertise judiciaire du docteur E._ et reconnu ainsi à tort le droit à la rente d'invalidité postérieurement au 30 avril 2009. Le recourant fait notamment grief aux premiers juges d'avoir violé son droit d'être entendu, dans la mesure où ils n'ont pas examiné et ne se sont pas déterminés sur les critiques qu'il avait émises à l'encontre de cette expertise. A son avis, le jugement attaqué est lacunaire dans sa motivation.
5. En principe, le juge ne s'écarte pas sans motifs impératifs des conclusions d'une expertise médicale judiciaire, la tâche de l'expert étant précisément de mettre ses connaissances spéciales à la disposition de la justice afin de l'éclairer sur les aspects médicaux d'un état de fait donné. Selon la jurisprudence, peut constituer une raison de s'écarter d'une expertise judiciaire le fait que celle-ci contient des contradictions, ou qu'une surexpertise ordonnée par le tribunal en infirme les conclusions de manière convaincante. En outre, lorsque d'autres spécialistes émettent des opinions contraires aptes à mettre sérieusement en doute la pertinence des déductions de l'expert, on ne peut exclure, selon les cas, une interprétation divergente des conclusions de ce dernier par le juge ou, au besoin, une instruction complémentaire sous la forme d'une nouvelle expertise médicale (<ref-ruling> consid. 3b/aa p. 352 et les références).
Par ailleurs, lorsque, comme en l'occurrence, l'autorité de recours de première instance juge l'expertise judiciaire concluante et en fait sien le résultat, le Tribunal fédéral n'admet le grief d'appréciation arbitraire que si l'expert n'a pas répondu aux questions posées, si ses conclusions sont contradictoires ou si, d'une quelconque autre façon, l'expertise est entachée de défauts à ce point évidents et reconnaissables, même sans connaissances spécifiques, que le juge ne pouvait tout simplement pas les ignorer. Il n'appartient pas au Tribunal fédéral de vérifier si toutes les affirmations de l'expert sont exemptes d'arbitraire; sa tâche se limite bien plutôt à examiner si l'autorité intimée pouvait, sans arbitraire, se rallier au résultat de l'expertise (arrêt 9C_587/2014 du 20 octobre 2014 consid. 6.1; voir également <ref-ruling> consid. 3b/aa p. 352 et les références).
6.
6.1. En premier lieu, les réponses apportées par la juridiction cantonale aux critiques que le recourant a soulevées à l'encontre de l'expertise judiciaire ne sauraient être qualifiées d'insuffisantes (cf. jugement attaqué, consid. 11 p. 24). En effet, ce dernier n'avait développé qu'une argumentation assez sommaire, tant en qui concerne le diagnostic de trouble dépressif et son caractère invalidant, le trouble de la personnalité, que la prise en compte de considérations d'ordre psychosocial par l'expert judiciaire (cf. déterminations du 3 juillet 2015). Le grief relatif à la motivation insuffisante du jugement entrepris doit être rejeté.
6.2. Sur le fond, les considérants par lesquels l'autorité judiciaire a justifié son choix de s'en tenir aux conclusions du docteur E._ ne sont pas davantage arbitraires. A propos du trouble dépressif, les premiers juges ont relevé que le docteur E._ s'était déterminé sur l'expertise de ses confrères du Centre D._ (p. 41-49 de son rapport du 4 mai 2015), en exposant en quoi il ne se ralliait pas à leur point de vue et justifiant son diagnostic. A l'inverse de ce que prétend le recourant, l'expert n'a pas dépassé son mandat en donnant son avis sur les évaluations médicales antérieures puisque la juridiction cantonale le lui avait expressément demandé; celle-ci a par ailleurs dûment motivé la nécessité d'une expertise, sans que sa mesure d'instruction n'apparaisse contraire au droit (cf. ordonnance du 23 décembre 2014). De plus, comme l'ont admis les premiers juges, les éléments factuels et les détails sur la vie de l'assuré mis en exergue par l'expert lui ont servi à expliquer ses diagnostics sans qu'on puisse ici parler de facteurs psychosociaux indépendants de l'atteinte à la santé.
Dans ce contexte, on rappellera qu'il n'appartient pas au juge de remettre en cause le diagnostic retenu par un médecin et de poser de son propre chef des conclusions qui relèvent de la science et des tâches du corps médical. Il convient bien plutôt pour la partie (en l'occurrence, l'office AI) qui entend remettre en cause le bien-fondé du point de vue médical sur lequel se sont fondées les autorités judiciaires de mettre en évidence des éléments objectivement vérifiables - de nature notamment clinique ou diagnostique - qui auraient été ignorés dans le cadre de l'appréciation et qui seraient suffisamment pertinents. En ce qui concerne les critiques relatives à l'importance du trouble dépressif, l'office recourant fait grief aux premiers juges d'avoir attaché une importance trop grande à cette affection. L'appréciation de la sévérité du trouble admise par l'expert est toutefois un débat qui relève typiquement de la compétence du corps médical et dans lequel le juge ne saurait en principe s'immiscer. En l'absence d'autres explications médicales permettant d'éclairer sous un jour différent le point de l'expert, il n'y a pas lieu de s'écarter de son avis (cf. arrêt 9C_855/2015 du 2 mai 2016 consid. 4.3). Quoiqu'en dise par ailleurs le recourant, l'expert a retenu les diagnostics psychiques en se fondant sur ses propres observations et non pas seulement sur les plaintes rapportées par l'intimé (cf. rapport du 4 mai 2015, p. 26 ss). Il a en outre détaillé quels traitements étaient effectivement suivis régulièrement par l'assuré et mentionné que celui-ci prenait en tous cas les médicaments "véritablement nécessaires et indiqués".
En définitive, l'office recourant n'a pas fait valoir d'éléments impératifs, au sens de la jurisprudence rappelée ci-avant (cf. consid. 5), sur la base desquels les juges cantonaux auraient dû ordonner une surexpertise, voire s'écarter des conclusions du docteur E._ au profit de celles des experts du Centre D._. Ces derniers avaient du reste relevé, dans leur anamnèse psychiatrique, un sentiment de démoralisation et une dépression qui avait nécessité l'administration de plusieurs psychotropes (rapport du 8 février 2012, p. 27-28). Les experts du Centre D._ avaient également mis en évidence un élément persécutoire peut-être en rapport avec un trait de personnalité pathologique, l'intimé se sentant menacé et devenant ainsi agressif (rapport, p. 37); quant au trouble dépressif engendrant une diminution de la capacité de travail de 30 %, il était évolutif (cf. rapport, p. 47).
Compte tenu de ce qui précède, l'autorité intimée pouvait sans arbitraire se rallier au résultat de l'expertise judiciaire, si bien que ses constatations relatives à l'étendue de l'incapacité de travail, qui n'ont pas été établies de façon manifestement inexacte ou en violation du principe inquisitoire (art. 61 let. c LPGA), lient le Tribunal fédéral (art. 105 al. 1 LTF).
Le recours est infondé.
7.
Le recourant, qui succombe, supportera les frais de la procédure (art. 66 al. 1 LTF) et les dépens de l'intimé (art. 68 al. 1 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge du recourant.
3.
Le recourant versera à l'intimé la somme de 2'000 fr. à titre de dépens pour la procédure fédérale.
4.
Le présent arrêt est communiqué aux parties, à la Cour de justice de la République et canton de Genève, Chambre des assurances sociales, et à l'Office fédéral des assurances sociales.
Lucerne, le 9 novembre 2016
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
La Présidente : Glanzmann
Le Greffier : Berthoud