Faits : A. A._ a déposé une demande de prestations de l'assurance-invalidité, le 20 décembre 2006, en invoquant une lésion d'origine traumatique au genou droit. Dans un rapport d'expertise rhumatologique et psychiatrique du 8 février 2012, les docteurs B._, spécialiste en rhumatologie et médecine interne, et C._, spécialiste en psychiatrie et psychothérapie, médecins au Centre d'expertises médicales D._), ont attesté que l'assuré était en mesure d'exercer à 70 % toute activité adaptée à ses compétences, avec une réserve, sur le plan physique, pour le travail en hauteur ou avec des machines dangereuses. Par décision du 20 mars 2013, l'Office de l'assurance-invalidité du canton de Genève (ci-après: l'office AI) a alloué à l'intéressé une rente entière d'invalidité de février 2007 à avril 2009. B. A._ a déféré cette décision à la Cour de justice de la République et canton de Genève, Chambre des assurances sociales, en concluant au maintien de la rente au-delà du 30 avril 2009, subsidiairement à la prise en charge d'une mesure de réinsertion. La juridiction cantonale a ordonné une expertise psychiatrique qu'elle a confiée au docteur E._, spécialiste en psychiatrie et psychothérapie. L'expert a déposé son rapport le 4 mai 2015; il a notamment attesté que l'état dépressif majeur avec ses caractéristiques psychotiques induisait une incapacité de travail totale, cela depuis septembre 2006. Le 3 juillet 2015, l'office AI s'est déterminé sur l'expertise judiciaire. Par jugement du 23 décembre 2015, le tribunal cantonal a admis le recours et annulé la décision du 20 mars 2013 en tant qu'elle limitait le droit à la rente au 30 avril 2009. C. L'office AI interjette un recours en matière de droit public contre ce jugement dont il demande l'annulation en concluant principalement à la confirmation de sa décision du 20 mars 2013, subsidiairement au renvoi de la cause aux premiers juges pour mise en place d'une nouvelle expertise judiciaire. L'assuré intimé conclut au rejet du recours. L'Office fédéral des assurances sociales a renoncé à se déterminer.