Faits :
A.
A._, né en 1964, a travaillé en qualité de chef de chantier en électricité. Invoquant des problèmes à la mâchoire consécutive à une apnée du sommeil, ainsi que des affections viscérales (diverticulite perforée et colectomie), il s'est annoncé à l'assurance-invalidité le 18 mars 2009. Par décision du 15 mai 2012, l'office AI a rejeté la demande de prestations.
B.
A._ a formé une opposition à cette décision. Son écriture du 18 mai 2012, considérée comme un recours, a été transmise à la Cour de justice de la République et canton de Genève, Chambre des assurances sociales. Dans sa réponse du 14 juin 2012, l'office AI a conclu au rejet du recours.
Dans un avis médical du 20 novembre 2012, le docteur B._, médecin au SMR Suisse romande, a estimé que l'assuré souffrait d'un état dépressif et d'un trouble somatoforme douloureux chronique. A son avis, il était souhaitable qu'une expertise psychiatrique fût demandée pour évaluer le caractère incapacitant au sens de la LAI de ces nouvelles atteintes. A la lumière de cet avis, l'office AI a modifié ses conclusions, par lettre du 3 décembre 2012, dans le sens d'un renvoi pour instruction complémentaire.
Par ordonnance du 4 février 2013, la juridiction cantonale a confié un mandat d'expertise psychiatrique au docteur C._, spécialiste en psychiatrie et psychothérapie. Ce médecin a déposé son rapport le 12 juin 2013. L'office AI a conclu au rejet du recours, au motif que la dégradation de l'état de santé de l'assuré n'était admise que depuis le mois d'octobre 2012, si bien que la décision du 15 mai 2012 devait être confirmée.
Par jugement du 3 mars 2014, la juridiction cantonale a admis partiellement le recours, annulé la décision du 15 mai 2012 et reconnu le droit de l'assuré à une rente entière d'invalidité dès le 1 er septembre 2009 (ch. 2 à 4 du dispositif du jugement). L'office AI a été condamné au paiement des frais de l'expertise psychiatrique judiciaire du docteur C._, par 4'275 fr. (ch. 6 du dispositif).
C.
L'office AI interjette un recours en matière de droit public contre ce jugement. Il en demande la réforme en ce sens que le ch. 6 du dispositif soit annulé. Il sollicite par ailleurs l'attribution de l'effet suspensif au recours.

Considérant en droit :
1.
Le recours en matière de droit public (<ref-law>) peut être formé pour violation du droit selon l'art. 95 sv. LTF. Le Tribunal fédéral statue en principe sur la base des faits établis par l'autorité précédente (<ref-law>), sous réserve des cas prévus à l'<ref-law>. Cette disposition lui donne la faculté de rectifier ou compléter d'office l'état de fait de l'arrêt attaqué dans la mesure où des lacunes ou erreurs dans celui-ci lui apparaîtraient d'emblée comme manifestes. Quant au recourant, il ne peut critiquer la constatation de faits importants pour le jugement de la cause que si ceux-ci ont été constatés en violation du droit au sens de l'<ref-law> ou de manière manifestement inexacte (<ref-law>).
2.
Devant le Tribunal fédéral, le litige porte uniquement sur le point de savoir si l'office recourant doit assumer les frais de l'expertise psychiatrique judiciaire réalisée par le docteur C._.
3.
3.1. Dans un arrêt publié in <ref-ruling> consid. 4.3 s. p. 501, le Tribunal fédéral a rappelé que les frais qui découlaient de la mise en oeuvre d'une expertise judiciaire pluridisciplinaire confiée à un Centre d'observation médicale de l'assurance-invalidité (COMAI) pouvaient le cas échéant être mis à la charge de l'assurance-invalidité (<ref-ruling> consid. 4.4.2 p. 265). En effet, lorsque l'autorité judiciaire de première instance décidait de confier la réalisation d'une expertise judiciaire pluridisciplinaire à un COMAI parce qu'elle estimait que l'instruction menée par l'autorité administrative était insuffisante (au sens du consid. 4.4.1.4 de l'<ref-ruling>), elle intervenait dans les faits en lieu et place de l'autorité administrative, qui aurait dû, en principe, mettre en oeuvre cette mesure d'instruction dans le cadre de la procédure administrative. Dans ces conditions, les frais de l'expertise ne constituaient pas des frais de justice au sens de l'<ref-law>, mais des frais relatifs à la procédure administrative au sens de l'<ref-law> qui devaient être pris en charge par l'assurance-invalidité.
Cette règle, qu'il convient également d'appliquer, dans son principe, aux expertises judiciaires mono- et bidisciplinaires (cf. <ref-ruling> consid. 5.4 p. 357), ne saurait entraîner la mise systématique des frais d'une expertise judiciaire à la charge de l'autorité administrative. Encore faut-il que l'autorité administrative ait procédé à une instruction présentant des lacunes ou des insuffisances caractérisées et que l'expertise judiciaire serve à pallier les manquements commis dans la phase d'instruction administrative. En d'autres mots, il doit exister un lien entre les défauts de l'instruction administrative et la nécessité de mettre en oeuvre une expertise judiciaire (<ref-ruling> consid. 4.4.2 p. 265). Tel est notamment le cas lorsque l'autorité administrative a laissé subsister, sans la lever par des explications objectivement fondées, une contradiction manifeste entre les différents points de vue médicaux rapportés au dossier (<ref-ruling> consid. 4.4 p. 469; voir également <ref-ruling> consid. 4 p. 226 et arrêt 8C_71/2013 du 27 juin 2013 consid. 2), lorsqu'elle a laissé ouverte une ou plusieurs questions nécessaires à l'appréciation de la situation médicale ou lorsqu'elle a pris en considération une expertise qui ne remplissait manifestement pas les exigences jurisprudentielles relatives à la valeur probante de ce genre de documents (<ref-ruling> consid. 3a p. 352). En revanche, lorsque l'autorité administrative a respecté le principe inquisitoire et fondé son opinion sur des éléments objectifs convergents ou sur les conclusions d'une expertise qui répondait aux réquisits jurisprudentiels, la mise à sa charge des frais d'une expertise judiciaire ordonnée par l'autorité judiciaire de première instance, pour quelque motif que ce soit (à la suite par exemple de la production de nouveaux rapports médicaux ou d'une expertise privée), ne saurait se justifier (ATF 134 V 496 consid. 4.4 p. 502; arrêt 9C_803/2013 du 13 février 2014 consid. 4.1).
3.2. En ce qui concerne l'instruction médicale psychiatrique, les premiers juges ont retenu que l'office AI avait admis qu'elle n'avait pas été menée du tout et qu'il avait conclu, le 3 décembre 2012, au renvoi du dossier pour instruction complémentaire. A cet égard, les juges cantonaux ont constaté que le docteur D._ avait déjà évoqué le 13 février 2011, soit antérieurement à la décision administrative du 15 mai 2012, l'apparition d'un état anxio-dépressif chez l'assuré. La juridiction cantonale a dès lors estimé qu'il se justifiait de mettre les frais de l'expertise psychiatrique judiciaire à la charge de l'office AI.
3.3. Le recourant se réfère au rapport du docteur D._, médecin traitant, du 21 février 2011, ainsi qu'à l'expertise du docteur E._, spécialiste en médecine interne, du 27 novembre 2011. Dès lors que docteur E._ précisait qu'il n'était pas fait état de limitations significatives ou de prise en charge psychiatrique spécialisée, mais d'un manque de motivation, d'élan vital sans autre argument en faveur d'un état dépressif majeur ou invalidant, l'office recourant estime qu'il n'avait pas de motif d'instruire plus avant l'existence d'un éventuel trouble psychique invalidant dans le cadre de la procédure administrative. A cet égard, le recourant rappelle qu'il avait souligné la présence d'éléments nouveaux décelés par le SMR en novembre 2012, savoir un trouble somatoforme douloureux chronique et un état dépressif, ce qui l'avait conduit à conclure au renvoi de la cause pour un complément d'instruction dans ses conclusions du 3 décembre 2012. Dans la mesure où l'instruction n'était pas lacunaire et qu'il n'avait pas laissé subsister la présence d'éléments contradictoires entre eux, le recourant estime que l'on ne saurait lui faire supporter les coûts de l'expertise judiciaire psychiatrique, en vertu des principes exposés dans l'arrêt <ref-ruling> (consid. 4.4 p. 502).
Par ailleurs, le recourant souligne que l'expertise psychiatrique judiciaire réalisée par le docteur C._ a confirmé l'absence d'atteinte psychiatrique invalidante au moment où le docteur E._ avait procédé à son expertise; il rappelle que le docteur C._ avait estimé que l'état psychique s'était sérieusement dégradé à partir d'octobre 2012. Dès lors que la décision administrative a été rendue en mai 2012 et que l'état dépressif invalidant remonte à une date postérieure à cette décision, l'office AI soutient qu'il est arbitraire de lui faire supporter les frais de l'expertise psychiatrique judiciaire, dans la mesure où aucun élément du dossier ne justifie une telle prise en charge de sa part.
3.4. Les résultats de l'expertise psychiatrique judiciaire du docteur C._ n'ont aucune incidence sur l'issue du présent litige, car celui-ci porte uniquement sur le paiement des frais de cette expertise. Pour résoudre le litige, il faut déterminer si le recourant avait rendu sa décision du 15 mai 2012 sur la base d'un dossier qui permettait de statuer en pleine connaissance de cause, ou si au contraire le recourant avait laissé subsister des contradictions ou des lacunes (cf. consid. 3.1 supra). Dans ce contexte, la conclusion de l'office AI tendant à lui renvoyer la cause ne liait pas les juges cantonaux, d'autant qu'il incombe en principe au tribunal cantonal des assurances, en pareilles circonstances, d'entreprendre lui-même les mesures d'instruction nécessaires (cf. <ref-ruling> consid. 4.4.1.3 et 4.4.1.4 p. 264).
En l'espèce, le docteur D._ avait mis en évidence, dans son rapport du 13 février 2011, l'apparition d'un état anxio-dépressif chez l'intimé, en indiquant que son patient prenait notamment des antidépresseurs. Ce médecin avait ajouté, sans autre précision, qu'une telle affection psychique influence négativement la capacité de travail. Avant de statuer, l'office recourant aurait dû élucider cette question en procédant aux investigations idoines, à peine de contraindre la juridiction de recours à devoir effectuer elle-même cet examen. L'avis du docteur E._, spécialiste en médecine interne, n'était à cet égard pas suffisant, d'autant moins qu'il se référait, dans son rapport du 27 novembre 2011 (p. 13), à l'appréciation du professeur F._ qui relevait aussi la présence d'un état dépressif. Il s'ensuit que le financement de l'expertise psychiatrique judiciaire pouvait à bon droit être mis à la charge du recourant (cf. <ref-ruling> consid. 4.4 p. 502). Le recours est infondé.
Vu ce qui précède, la requête d'attribution de l'effet suspensif au recours n'a plus d'objet.
4.
Le recourant, qui succombe, supportera les frais judiciaires (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 700 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties, à la Cour de justice de la République et canton de Genève, Chambre des assurances sociales, et à l'Office fédéral des assurances sociales.
Lucerne, le 9 juillet 2014
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président : Le Greffier :
Kernen Berthoud