Faits :
A.
A._, né en 1957, licencié en droit, titulaire d'un DESS en droit et d'un master en administration publique, a travaillé en qualité de juriste auprès de la municipalité de U._ de 1989 à 2001. A partir du 1er juillet 2001, il a occupé le poste de directeur d'un office du canton de Genève. Dans le cadre de cette activité, il a été affilié à la Caisse de prévoyance du personnel enseignant de l'Instruction publique et des fonctionnaires de l'administration du canton de Genève (CIA), devenue Caisse de prévoyance de l'Etat de Genève (CPEG) à la suite d'une fusion avec la Caisse de prévoyance du personnel des établissements publics médicaux du canton de Genève (CEH). Par lettre du 1er novembre 2002, l'employeur a mis fin avec effet immédiat aux rapports de service qui le liaient à l'Etat de Genève. Sa prestation de sortie a été versée sur un compte de libre passage auprès des Rentes genevoises.
A compter du 5 novembre 2002, A._ a bénéficié d'indemnités de chômage (de novembre 2002 à novembre 2004). Il a ensuite occupé divers emplois (1er janvier au 31 mars 2005, 1er décembre 2007 au 12 février 2009, 1er août 2009 au 7 janvier 2010, 1er juillet 2013 au 26 septembre 2014) et s'est trouvé à plusieurs reprises en incapacité de travail pour cause de maladie.
Le 4 août 2006, A._ a déposé une demande de prestations de l'assurance-invalidité, indiquant qu'il présentait depuis 1999 des cycles bien délimitées: des périodes de tristesse, des pertes d'élan vital, d'évitement des relations sociales suivies par des périodes d'hyperactivité productives mais aussi désordonnées, une limitation des heures de sommeil, une grande irritabilité. Il était suivi par la doctoresse B._, spécialiste en psychiatrie et psychothérapie, ainsi que par les docteurs C._ et D._.
L'Office de l'assurance-invalidité du canton de Genève (ci-après : l'office AI) a confié un mandat d'expertise au docteur E._, spécialiste en psychiatrie et psychothérapie. Dans un rapport du 12 janvier 2009, ce médecin a diagnostiqué un trouble dépressif mixte récurrent (épisode actuel moyen) (F33.1) et un trouble mixte de la personnalité (F61.0); il a attesté une incapacité de travail psychiatrique entre le 1er mars et 30 septembre 2006, mais pas antérieurement ni postérieurement à ces dates. Le docteur E._ est revenu sur son appréciation dans un rapport complémentaire du 19 juillet 2010; il a admis que l'assuré était atteint d'un " probable trouble schizo-affectif " (F25.9) qui entraînait une incapacité de travail psychiatrique de 100% depuis le 5 novembre 2002 de façon continue, à l'exception des périodes où il avait un emploi et n'était pas au bénéfice d'un certificat médical d'incapacité de travail.
Par décision du 5 janvier 2012, l'office AI a alloué à l'assuré une rente entière d'invalidité d'août 2005 à février 2008, de février 2009 à juillet 2009, puis à partir de septembre 2009. L'office AI a notifié cette décision aux Rentes genevoises mais pas à la CPEG.
B.
Le 18 février 2016, A._ a saisi la Cour de justice de la République et canton de Genève, Chambre des assurances sociales, d'une demande dirigée contre la CPEG. Alléguant que son incapacité de travail avait débuté le 5 novembre 2002, soit à l'époque où il était assuré en prévoyance professionnelle auprès de la CIA, il a conclu à l'allocation d'une rente d'invalidité de 100% à compter du 1er mars 2011, partant au versement d'un montant de 350'000 fr. augmenté des indexations légales et règlementaires, avec intérêts.
Par jugement du 12 septembre 2016, la juridiction cantonale a rejeté la demande.
C.
A._ interjette un recours en matière de droit public contre ce jugement dont il demande l'annulation. A titre principal, il reprend les conclusions formées en première instance; à titre subsidiaire, il conclut au renvoi de la cause aux premiers juges.
La CPEG conclut au rejet du recours. Les parties ont déposé des observations. L'Office fédéral des assurances sociales a renoncé à se déterminer.

Considérant en droit :
1.
1.1. Le litige porte sur le droit du recourant à une rente d'invalidité de la prévoyance professionnelle de la part de l'intimée. Cette prétention dépend tout d'abord du point de savoir si l'incapacité de travail dont la cause est à l'origine de l'invalidité était déjà survenue (à 20% au moins) 30 jours après la fin des rapports de prévoyance, soit le 1er décembre 2002.
1.2. Le jugement entrepris expose correctement les règles applicables à la solution du litige, singulièrement les principes jurisprudentiels sur la notion d'incapacité de travail et la survenance de celle-ci, en relation avec le double critère de la connexité matérielle et temporelle entre l'incapacité de travail et l'invalidité exigé par la jurisprudence pour fonder l'obligation de prester d'une institution de prévoyance à laquelle était affiliée l'intéressé (consid. 5 à 7). Il suffit d'y renvoyer.
1.3. Les constatations de la juridiction cantonale relatives à l'incapacité de travail résultant d'une atteinte à la santé (survenance, degré, durée, pronostic) relèvent d'une question de fait et ne peuvent être examinées par le Tribunal fédéral que sous un angle restreint dans la mesure où elles reposent sur une appréciation des circonstances concrètes du cas d'espèce (cf. art. 97 al. 1 et 105 al. 1 et 2 LTF). Les conséquences que tire la juridiction cantonale des constatations de fait quant à la connexité temporelle sont en revanche soumises au plein pouvoir d'examen du Tribunal fédéral (cf. arrêt 9C_851/2014 du 29 juin 2015 consid. 1.3 et la référence).
2.
La juridiction cantonale a examiné si le début de l'incapacité de travail ayant conduit à l'invalidité avait eu lieu pendant que le recourant était assuré en prévoyance professionnelle auprès de la CIA, soit du 1er juillet 2001 au 1er décembre 2002 (compte tenu de la période d'assurance prolongée d'un mois prévue par l'<ref-law>).
A la lecture du rapport du docteur E._ du 19 juillet 2010, sur la base duquel l'office AI avait fondé sa décision de rente du 5 janvier 2012, les premiers juges ont relevé que la pathologie diagnostiquée par ce médecin ne s'est pas manifestée de façon continue, en ce sens que le recourant a présenté une capacité de travail par intermittence, même après le 5 novembre 2002. Analysant le cas à la lumière des critères posés par la jurisprudence en matière de maladies évoluant par poussées (cf. arrêts B 63/04 du 28 décembre 2004, in RSAS 2005 p. 433 et 2006 p. 36 et B 12/03 du 12 novembre 2003), ils ont constaté qu'à l'exception de deux jours d'arrêt maladie à 100% en 2001 et onze jours en 2002 au sujet desquels il n'était pas allégué qu'ils découlaient de motifs psychiatriques, le recourant n'avait présenté aucune incapacité de travail en temps réel, le jour de son licenciement et dans les mois qui avaient précédé celui-ci, la situation s'étant maintenue jusqu'au 1er décembre 2002. La période subséquente était marquée par l'absence d'incapacité de travail attestée jusqu'en février 2006, à l'exception du rapport de la doctoresse B._ du 15 mars 2007 qui faisait état rétrospectivement d'une incapacité de travail de 20% au moins, mais pour les années 2004 et 2005. Pour le surplus, les juges cantonaux ont considéré que l'expert E._ avait retenu la date du 5 novembre 2002 sans grande conviction dans son rapport du 19 juillet 2010, lorsqu'il avait déclaré " puisqu'il faut dater et chiffrer ".
Quant à savoir si le trouble schizo-affectif présentait déjà un caractère incapacitant en novembre 2002, les premiers juges ont constaté que les faits qui avaient motivé le licenciement du recourant n'avaient pas appelé d'observations particulières de la part de la doctoresse B._ qui suivait le recourant à l'époque, ni entraîné d'arrêt de travail. Ils ont aussi relevé que le docteur E._ avait modifié son appréciation dans son rapport du 19 juillet 2010 à la suite d'éléments psychotiques observés pour la première fois entre décembre 2008 et février 2009, mais qui n'étaient pas rapportés pour la période durant laquelle le recourant était assuré par la CIA. En outre, son employeur n'avait pas indiqué que son salaire de directeur en 2002 n'aurait pas correspondu à son rendement.
En définitive, la juridiction cantonale a considéré que le docteur E._ avait fixé le début de l'incapacité de travail de manière rétroactive après plusieurs années, sans motiver sérieusement ce point de départ ni que son appréciation ait été corroborée par des rapports médicaux en temps réel ni d'autres éléments montrant que les troubles psychiques diagnostiqués le 19 juillet 2010 avaient déjà des répercussions sur la relation de travail à la base des rapports de prévoyance noués avec la CIA. Elle en a déduit qu'il n'était pas établi, au degré de la vraisemblance prépondérante, que l'incapacité de travail qui avait conduit à l'invalidité était survenue à une époque où le recourant était assuré par la CIA. Dès lors que le droit aux prestations devait être nié pour ce motif, il était inutile d'examiner si les périodes de chômage et d'activités professionnelles subséquentes avaient interrompu la connexité temporelle.
3.
Le recourant se prévaut d'une constatation manifestement inexact des faits, d'une violation du principe inquisitoire ainsi que d'arbitraire dans l'appréciation des preuves.
Il soutient que la juridiction cantonale aurait dû suivre l'avis du docteur E._ et que la date qu'il avait avancée (le 5 novembre 2002) correspondait à la décompensation sous forme de crise aiguë indiquée par la doctoresse B._. Le recourant relève que dans le cadre d'atteintes psychiatriques, on ne saurait exiger un certificat d'arrêt de travail en temps réel, à peine de rendre l'<ref-law> inapplicable dans de nombreux cas.
Pour le recourant, les premiers juges auraient dû interroger les médecins qui avaient arrêté l'incapacité de travail au 5 novembre 2002, ou mettre une nouvelle expertise en oeuvre s'ils n'entendaient pas suivre l'avis de l'expert E._, de la doctoresse B._ ou du Service médical régional. Il rappelle qu'il ne se rendait plus au travail à cette époque puisqu'il avait été licencié avec effet immédiat, si bien qu'on ne saurait exiger une attestation médicale établie au moment des faits. A son avis, il est notoire que les certificats d'incapacité de travail sont établis à la demande du patient lorsqu'ils doivent justifier leurs absences auprès de leur employeur.
4.
4.1. Les griefs du recourant ne résistent pas à l'examen. En effet, il s'est trouvé dans le déni face à sa pathologie psychiatrique, dont le psychiatre traitant n'a pas reconnu l'existence pendant longtemps. Ainsi que les premiers juges l'ont rappelé à juste titre (cf. consid. 2 supra), pour que les constatations médicales ultérieures sur la survenance de l'incapacité de travail, déterminée de manière rétrospective, puissent être suivies, il faut encore que les effets négatifs de l'atteinte psychiatrique sur la capacité de travail pendant les rapports de prévoyance aient été attestés en temps réel (arrêt B 63/04 précité consid. 3.3.3).
Or c'est précisément cette attestation qui fait défaut en l'espèce. Le rapport de la doctoresse B._ du 16 septembre 2004, que le recourant invoque à l'appui de ses conclusions, ne mentionne aucune incapacité de travail en novembre 2002. La doctoresse B._ y attestait uniquement une prise en charge du patient depuis le 28 mai 2002 dans le cadre d'une thérapie cognitivo-comportementale avec le but d'optimiser son comportement dans des moments de surcharge psychique (dus au travail, mais aussi, au conflit chronique familial).
Quant à l'avis du docteur E._, établi plusieurs années après les faits, il ne saurait pallier l'absence d'attestation en temps réel et ne suffit dès lors pas à attester que la diminution du rendement ou de la capacité de travail du recourant était due à la pathologie psychiatrique. En d'autres termes, les conditions auxquelles la jurisprudence admet qu'il peut être renoncé à l'exigence d'une attestation médicale en temps réel de l'incapacité de travail pour établir une diminution déterminante de la capacité de rendement du point de vue du droit de la prévoyance professionnelle ne sont pas réalisées.
4.2. Par surabondance, le critère de la connexité temporelle entre l'incapacité de travail et l'invalidité n'est assurément pas réalisé. En effet, non seulement le recourant a bénéficié d'indemnités de chômage durant deux ans à la suite de son licenciement (jusqu'en novembre 2004) puis a occupé un emploi jusqu'en mars 2005, mais il a aussi travaillé en tant que salarié pendant quatorze mois (du 1er décembre 2007 au 11 février 2009), périodes pour lesquelles le docteur E._ a admis l'existence d'une capacité de travail. Compte tenu des durées en cause, la connexité temporelle a été interrompue.
4.3. Vu ce qui précède, la juridiction cantonale a rejeté à juste titre les conclusions que le recourant avaient dirigées contre l'intimée. Le recours est infondé.
5.
Le recourant, qui succombe, supportera les frais de la procédure (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties, à la Cour de justice de la République et canton de Genève, Chambre des assurances sociales, et à l'Office fédéral des assurances sociales.
Lucerne, le 7 mars 2017
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
La Présidente : Pfiffner
Le Greffier : Berthoud