Faits:
A.
Le divorce des époux A.X._ et B.X._, a été prononcé par jugement du 15 janvier 2007.
Le 26 août 2010, A.X._ a saisi le Tribunal de première instance du canton de Genève d'une action en modification de ce jugement. Il a notamment conclu au prononcé d'une garde alternée et à la suppression de la contribution d'entretien en faveur de son ex-épouse.
B.
Dans le cadre de cette dernière procédure, il a sollicité, par courrier du 12 septembre 2012, la récusation de la Juge C._, en charge de l'affaire depuis la fin décembre 2011.
Par décision du 19 octobre 2012, la délégation du Tribunal civil a rejeté cette requête et condamné A.X._ aux frais.
Le 3 décembre 2012, A.X._ a recouru à la Cour de justice, concluant à l'admission de sa demande de récusation. Son recours a été transmis à son ex-épouse, avec un délai de détermination. Par courrier du 22 février 2013, A.X._ s'est plaint de cette manière de faire.
B.X._ a répondu le 25 février 2013, concluant au rejet du recours, sous suite de frais et dépens.
Statuant le 10 mai 2013, la Chambre civile de la Cour de justice du canton de Genève a rejeté le recours et condamné A.X._ à payer les frais de la procédure et à verser des dépens en faveur de son ex-femme.
C.
Par écriture du 24 juin 2013, A.X._ exerce un recours en matière civile au Tribunal fédéral. Il conclut, principalement, au renvoi de la cause pour nouvelle décision dans le sens des considérants, sous suite de frais, dont il requiert qu'ils soient mis à la charge de l'Etat de Genève, et de dépens. Subsidiairement, il demande à être acheminé " à prouver par toute voie utile les faits allégués dans le présent recours ".
Des réponses n'ont pas été sollicitées.
D.
Par ordonnance du 27 juin 2013, le Président de la II e Cour de droit civil du Tribunal fédéral a rejeté la demande d'effet suspensif du recourant.

Considérant en droit:
1.
L'ex-épouse, qui a été traitée comme une partie à la procédure de récusation devant la Cour de justice et s'est vue allouer des dépens dans ce cadre, est directement concernée par le présent recours qui lui conteste ce droit. Elle doit donc être considérée comme partie intimée dans la présente procédure.
2.
2.1. La Chambre civile a rejeté le recours formé contre le rejet de la demande de récusation et condamné le recourant à payer les frais de la procédure et à verser des dépens à son ex-femme.
Le recourant conteste cette décision uniquement sur la question des dépens.
2.2. Contrairement à ce qu'affirme péremptoirement le recourant, la réglementation prévue à l'<ref-law> ne s'applique pas dans un tel cas. Certes, selon cette disposition, la décision incidente rendue sur une demande de récusation peut faire l'objet d'un recours immédiat au Tribunal fédéral. Toutefois, lorsque la partie conteste uniquement le prononcé sur les frais ou, comme en l'espèce, sur les dépens, contenu dans une telle décision, la recevabilité du recours se détermine selon l'<ref-law> (<ref-ruling> ss consid. 2 rendu dans le cadre d'un recours contre une décision incidente sur la compétence, limité à la question des frais de la procédure; <ref-ruling> consid. 1 p. 331 ss; cf. aussi: arrêt 1B_54/2013 du 10 avril 2013 consid. 1.2.1).
3.
Selon l'<ref-law>, les décisions préjudicielles et incidentes notifiées séparément, qui ne portent ni sur la compétence, ni sur une demande de récusation (cf. <ref-law>), peuvent faire l'objet d'un recours immédiat au Tribunal fédéral lorsqu'elles sont susceptibles de causer un préjudice irréparable (let. a) ou lorsque l'admission du recours peut conduire immédiatement à une décision finale qui permet d'éviter une procédure probatoire longue et coûteuse (let. b).
3.1. Un préjudice ne peut être qualifié d'irréparable au sens de l'<ref-law> que s'il cause un inconvénient de nature juridique; tel est le cas lorsqu'une décision finale même favorable à la partie recourante ne le ferait pas disparaître entièrement, en particulier lorsque la décision incidente contestée ne peut plus être attaquée avec la décision finale, rendant ainsi impossible le contrôle par le Tribunal fédéral; en revanche, un dommage économique ou de pur fait n'est pas considéré comme un dommage irréparable de ce point de vue (<ref-ruling> consid. 1.3.4 p. 36; <ref-ruling> consid. 2.1 et 2.2 p. 190). Il appartient au recourant d'alléguer et d'établir la possibilité que la décision préjudicielle ou incidente lui cause un tel dommage (<ref-ruling> consid. 1.2 p. 429 et les références citées), à moins que celui-ci ne fasse d'emblée aucun doute (<ref-ruling> consid. 2.3.1 in fine p. 632).
En l'espèce, nonobstant que, ayant apparemment méconnu la nature de la décision attaquée, le recourant n'a pas démontré cette condition, la jurisprudence considère que le prononcé accessoire sur les frais et dépens, contenu dans une décision incidente, n'est pas de nature à causer un préjudice irréparable au sens de l'<ref-law> (<ref-ruling> consid. 1; arrêt 1B_54/2013 du 10 avril 2013 consid. 1.2.1).
3.2. L'hypothèse de l'<ref-law> n'entre, quant à elle, manifestement pas en considération, puisqu'une admission du présent recours ne serait pas de nature à conduire immédiatement à une décision finale qui permettrait d'éviter une procédure probatoire longue et coûteuse.
4.
Cela étant, le recours doit être déclaré irrecevable. Cette irrecevabilité du recours immédiat n'empêche pas le recourant de se plaindre à nouveau de la question des dépens dans le cadre d'un recours contre la décision finale (<ref-ruling> consid. 1b; arrêt 1B_54/2013 du 10 avril 2013 consid. 1.2.1).
Le recourant, qui succombe, supportera les frais de la procédure (<ref-law>). Il n'y a pas lieu de verser de dépens à l'intimée qui n'a pas été invitée à se déterminer sur le recours (art. 68 al. 1 et 2 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1.
Le recours est irrecevable.
2.
Les frais de la procédure, arrêtés à 1'500 fr., sont mis à la charge du recourant.
3.
Il n'y a pas lieu d'allouer de dépens.
4.
Le présent arrêt est communiqué aux parties et à la Chambre civile de la Cour de justice du canton de Genève.
Lausanne, le 11 novembre 2013
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
Le Président: von Werdt
La Greffière: Jordan