Faits:
A.
A._, né en 1968, a été engagé en qualité de juriste auprès de B._ à partir du 1 er janvier 2002. A ce titre, il était affilié à la Caisse fédérale de pensions (CFP, rapports d'assurance transférés à Publica au 1 er juin 2003).
A la suite de problèmes de santé, A._ a présenté une incapacité totale de travailler, laquelle a été attestée depuis le mois de juin 2003. Le 29 mars 2004, il a déposé une demande de prestations à l'Office de l'assurance-invalidité pour le canton de Vaud (l'office AI) ainsi qu'à Publica. Par décisions des 27 juillet et 10 septembre 2012, l'office AI a alloué une rente entière d'invalidité à A._ à compter du 1 er juin 2004, en fonction d'un degré d'invalidité de 97 %.
Sur cette base, Publica a accordé à son assuré une rente d'invalidité, le 28 novembre 2012, avec effet rétroactif au 1 er octobre 2004 (après calcul de surindemnisation du 1 er juin au 30 septembre 2004). Publica a toutefois refusé de verser des intérêts moratoires (cf. échanges de lettres des 14 décembre 2012 et 10 janvier 2013).
B.
Le 28 février 2013, A._ a saisi le Tribunal administratif du canton de Berne d'une demande dirigée contre Publica. Il a conclu à ce que la caisse de pensions défenderesse fût condamnée à lui payer un montant de 65'910 fr. 10 à dire de justice, au titre d'intérêts moratoires de 5 % l'an sur le montant de rente arriéré de 310'615 fr. 90 pour la période du 1 er octobre 2004 au 30 novembre 2012, ainsi qu'à indexer la rente d'invalidité.
Par jugement du 7 février 2014, la juridiction cantonale a rejeté la demande dans la mesure où elle l'a jugée recevable.
C.
A._ interjette un recours " administratif et constitutionnel " contre ce jugement dont il demande l'annulation avec suite de dépens. Il conclut à ce que Publica soit condamnée à lui verser " le montant à dire de justice d'au moins 86'100 fr. 40, correspondant à un intérêt de 5 % l'an sur le montant de 313'785 fr. 45 continuant de porter intérêt à 5 % l'an jusqu'à l'entrée en force de chose jugée définitive ". Par ailleurs, il prie " les Cours réunies du Tribunal fédéral d'examiner si l'élection des magistrats bernois par des députés, influencés de manière occulte par lobbies et pouvant sanctionner en tout temps par une non-élection n'importe quel juge qui n'agirait pas dans les intérêts de ces lobbies, entraîne une apparence de partialité et de dépendance de ces magistrats au sens des art. 29 sv. Cst. et 6 CEDH ". Il requiert enfin la suspension de la procédure jusqu'à ce que les Cours réunies aient statué sur l'application de l'<ref-law>.

Considérant en droit:
1.
La question du mode d'élection des magistrats bernois n'est pas objet du jugement attaqué. Il s'ensuit que le Tribunal fédéral ne saurait entrer en matière sur les conclusions que le recourant prend à ce sujet (p. 7 du recours).
En revanche, dans la mesure où les conclusions portent sur le versement d'intérêts moratoires afférents aux rentes d'invalidité servies rétroactivement depuis le 1 er octobre 2004, objet du jugement du 7 février 2014, et que la motivation est suffisante à cet égard, le recours est recevable.
2.
Devant le Tribunal administratif cantonal, le recourant avait demandé le paiement d'intérêts moratoires en se fondant sur l'<ref-law>. Les premiers juges ont réfuté son point de vue, considérant que l'<ref-law> ne s'applique pas au versement des rentes d'invalidité au sens de la LPP. Ils ont admis qu'à défaut de disposition de la LPP le prévoyant, la LPGA n'est pas applicable de manière générale en matière de prévoyance professionnelle (<ref-law>). Les juges cantonaux ont rappelé que de jurisprudence constante, en l'absence d'une disposition réglementaire particulière s'appliquant à l'institution de prévoyance concernée, il convenait d'appliquer les art. 102 et suivants du Code des obligations (cf. <ref-ruling> consid. 4 p. 133; arrêt 9C_66/2012 du 25 juin 2012 consid. 3.2).
Le Tribunal administratif a constaté que le Règlement de prévoyance du 15 juin 2007 pour les personnes employées et les bénéficiaires de rentes de la Caisse de prévoyance de la Confédération (RPEC, RS 172.220.141.1), applicable en l'occurrence, ne contenait aucune disposition relative au paiement d'éventuels intérêts moratoires ou rémunératoires en cas d'octroi rétroactif d'une rente d'invalidité. Il a précisé que le législateur avait volontairement renoncé à prévoir une réglementation spéciale soumettant à intérêts moratoires les créances d'arriérés d'une rente de la prévoyance professionnelle, lorsque cette prestation avait été octroyée après la naissance du droit, si bien qu'il n'existait pas de pure lacune. Dans ces conditions, l'éventualité d'un intérêt moratoire à verser par la caisse de pensions sur les sommes allouées rétroactivement à titre de rentes d'invalidité devait être examinée sur la base de l'<ref-law>, disposition à teneur de laquelle le débiteur en demeure pour le paiement d'intérêts, d'arrérages ou d'une somme dont il a fait donation, ne doit l'intérêt moratoire qu'à partir du jour de la poursuite ou de la demande en justice.
Dans le cas d'espèce, les premiers juges ont constaté que l'office AI avait rendu sa décision formelle le 27 juillet 2012, par laquelle il avait reconnu le droit de l'assuré à une rente entière rétroactivement au 1 er juin 2004. Dès lors, en application de l'<ref-law> ainsi de l'<ref-law> (teneur au 1 er juillet 2012), le droit du demandeur à une rente de la LPP ne pouvait pas être reconnu par la caisse de pensions défenderesse avant l'entrée en force des décisions des 27 juillet et 10 septembre 2012, le calcul de la surindemnisation devant encore être effectué à la suite de ces décisions. La juridiction cantonale en a déduit qu'en allouant et versant ses prestations dès la fin du mois de novembre 2012 (cf. lettre du 28 novembre 2012), la caisse de pensions n'avait pas manqué à son devoir de diligence. Ainsi, lors du dépôt de sa demande, le 28 février 2013, le demandeur ne pouvait se prévaloir d'aucune prestation d'invalidité exigible et impayée qui lui aurait été due par la caisse de pensions. Sa conclusion tendant au versement d'un intérêt rémunératoire sur les arriérés de rentes devait être rejetée.
3.
3.1. Dans un premier moyen, le recourant laisse entendre, sans l'affirmer mais en posant diverses questions, que la LPP pourrait être dépourvue de base constitutionnelle, dès lors que cet acte législatif procède de l'art. 34quater aCst. Il demande que la présente procédure soit suspendue afin que les Cours réunies du Tribunal fédéral puissent trancher la question de savoir si la LPP s'applique vraiment au domaine de l'invalidité ou seulement à la prévoyance professionnelle.
La question concernant la constitutionnalité de la LPP, en admettant que le grief soit suffisamment motivé, peut rester ouverte. En effet, selon l'art. 190 Cst., le Tribunal fédéral et les autres autorités sont tenus d'appliquer les lois fédérales et le droit international, c'est-à-dire également la LPP. Il n'y a donc aucun motif de suspendre la procédure.
3.2. Devant le Tribunal fédéral, le recourant soutient derechef que l'<ref-law>, relatif au droit d'un assuré à des intérêts moratoires, devrait s'appliquer en matière de prévoyance professionnelle selon la LPP.
La juridiction cantonale lui a répondu à satisfaction sur ce point. La Cour de céans reprend dès lors à son compte les consid. 2.2 et 2.3 du jugement attaqué, auxquels elle n'a rien à ajouter. Il n'y a pas lieu de revenir sur la jurisprudence constante (<ref-ruling> précité; arrêt 9C_472/2012 du 31 octobre 2012 consid. 3).
3.3. Le recourant se prévaut finalement d'une violation du devoir de renseigner de la part de Publica. Il lui reproche de ne pas l'avoir informé qu'il ne recevrait pas d'intérêts sur sa rente de la prévoyance professionnelle et de la possibilité de l'actionner devant le Tribunal administratif. A son avis, en omettant de lui indiquer les voies de droit destinées à protéger ses intérêts, l'intimée s'est offert un avantage illicite, ce qui a considérablement augmenté son dommage.
Ainsi que la juridiction cantonale l'a exposé à juste titre, l'intimée ne pouvait pas se prononcer sur le droit du recourant à une rente d'invalidité de la prévoyance avant que l'AI ait statué (cf. <ref-law>). Cela étant, on saisit mal en quoi consiste l'obligation d'informer que l'intimée aurait enfreinte; s'il devait s'agir du droit à des intérêts moratoires, le grief du recourant serait dépourvu de tout fondement, puisque de tels intérêts ne sont pas dus en l'espèce. Dans ce contexte, le moyen tiré de l'octroi d'un avantage illicite est également infondé, dès lors que l'intimée a précisément fait diligence pour fixer ses prestations à compter du moment où l'office AI avait statué.
4.
Le recourant, qui succombe, supportera les frais de la procédure (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1.
Dans la mesure où il est recevable, le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties, au Tribunal administratif du canton de Berne, Cour des affaires de langue française, et à l'Office fédéral des assurances sociales.
Lucerne, le 6 mai 2014
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président: Kernen
Le Greffier: Berthoud