Faits :
A.
A.A._ et B.A._ se sont mariés en 2004 en Australie.
Ils sont en instance de divorce depuis le 12 mars 2012.
Par décision du 26 mars 2019, le Président du Tribunal civil de l'arrondissement de l'Est vaudois a rejeté la requête de A.A._ du 25 janvier 2019 tendant à ce que la procédure soit limitée à la question du principe du divorce et à ce qu'un prononcé séparé soit rendu sur ce point.
Statuant le 20 mai 2019, la Chambre des recours civile du Tribunal cantonal du canton de Vaud a déclaré irrecevable le recours interjeté le 8 avril 2019 par A.A._, sous suite de frais de deuxième instance. Elle a déclaré l'arrêt exécutoire.
B.
Par écriture du 8 juillet 2019, A.A._ exerce un recours en matière civile au Tribunal fédéral. Il conclut, principalement, à la réforme de l'arrêt cantonal en ce sens que " l'autorité de première instance limite la procédure à la question du principe même du divorce puis rend le prononcé limité correspondant ". Il demande, subsidiairement, son annulation et le renvoi de la cause au Tribunal cantonal pour nouvelle décision dans le sens des considérants " à intervenir ", respectivement pour entrée en matière sur le recours cantonal du 8 avril 2019.
L'intimée propose l'irrecevabilité du recours, subsidiairement son rejet. L'autorité cantonale déclare se référer aux considérants de son arrêt. Le recourant a brièvement répliqué. L'intimée s'est encore déterminée en quelques lignes.

Considérant en droit :
1.
1.1. L'arrêt de la Chambre des recours civile déclare irrecevable, en dernière instance cantonale (<ref-law>), le recours interjeté contre le refus du premier juge de rendre un prononcé séparé sur le principe du divorce. Il s'agit d'une décision incidente au sens de l'<ref-law> (<ref-ruling> consid. 1.1; arrêt 5A_845/2016 du 2 mars 2018 consid. 1.1) qui ne peut faire l'objet d'un recours au Tribunal fédéral que si elle peut causer un préjudice irréparable (<ref-law>), la seconde hypothèse prévue à l'<ref-law> n'entrant manifestement pas en considération.
1.1.1. Par préjudice au sens de l'<ref-law>, il faut entendre un dommage de nature juridique qu'une décision finale, même favorable au recourant, ne ferait pas disparaître complètement. La seule éventualité d'un préjudice irréparable de nature juridique suffit (<ref-ruling> consid. 2.1 et la référence citée). De jurisprudence constante, un inconvénient seulement matériel résultant par exemple d'un accroissement de la durée et des frais de la procédure est insuffisant (parmi plusieurs : <ref-ruling> consid. 1.3 et les références; <ref-ruling> consid. 1.2; <ref-ruling> consid. 3.6).
En l'espèce, la Chambre des recours civile a déclaré irrecevable le recours interjeté par le mari, motif pris que ce dernier avait échoué à établir la condition du préjudice difficilement réparable posée à l'<ref-law>. La présente procédure porte uniquement sur le bien-fondé de ce refus d'entrer en matière. Malgré cette limitation de l'objet de la procédure, la question de savoir s'il existe en l'espèce un préjudice irréparable au sens de l'<ref-law> ne s'apprécie pas en fonction de la possibilité de revoir ou non la décision incidente dans le cadre d'un recours contre le jugement final, mais au regard des effets de cette dernière sur la cause principale (à ce sujet : <ref-ruling> consid. 1.2.2; cf. aussi ATF <ref-ruling> consid. 2; arrêt 5A_845/2016 précité, consid. 1.1.1).
1.1.2. Le recourant soutient que la décision cantonale est " potentiellement de nature à porter une atteinte injustifiée à plusieurs droits constitutionnels [...], soit en particulier le droit à la protection de la vie privée, le droit au mariage et les garanties de l'art. 29 Cst. ". Il fait valoir que la séparation du couple remonte à plus de neuf ans, que les parties n'entretiennent plus aucun lien, qu'elles n'ont pas d'enfant commun et ne sont " liées " par aucune obligation alimentaire, que l'intimée a par ailleurs eu deux enfants issus de sa nouvelle relation qu'il a dû désavouer par procès, que lui-même est en couple depuis plusieurs années et projette une nouvelle union, que la procédure de divorce a été introduite il y a sept ans, qu'elle en est seulement au stade de la " conciliation qui précède les échanges d'écritures " et ne porte que sur la liquidation du régime matrimonial et qu'en l'état, il se trouve privé de la possibilité d'épouser sa compagne et de faire des " projets familiaux ".
1.1.3. La question de savoir si le recourant, en vertu du droit constitutionnel au mariage garanti par l'art. 14 Cst., qui inclut également le droit au remariage, peut prétendre, dans une procédure de divorce, à un jugement partiel sur la question du divorce (sur les conditions d'un jugement partiel : <ref-ruling>), n'a pas à être tranchée ici. Elle constitue en effet le fondement du recours devant la cour cantonale et ne fait pas l'objet de la présente procédure qui vise uniquement le bien-fondé du refus d'entrer en matière sur le recours cantonal (cf. supra, consid. 1.1.1).
Pour le reste, il faut relever que, tant que son précédent mariage n'a pas été définitivement dissous, le recourant ne peut contracter une nouvelle union (<ref-law>). Jusqu'à ce terme, le refus de prononcer un jugement partiel limité au principe du divorce peut porter atteinte à son droit constitutionnel au mariage. Cette atteinte est d'autant plus grave que l'action en divorce a été introduite depuis plus de sept ans et que la fin de la procédure n'est pas encore prévisible. Une décision finale, même favorable au recourant, ne la ferait pas disparaître complètement. La décision incidente déférée pourrait ainsi causer au recourant un préjudice irréparable au sens de l'<ref-law> (dans ce sens : arrêt 5A_845/2016 du 2 mars 2018 consid. 1.1.3).
1.2. Pour le surplus, la détermination de la voie de droit ouverte à l'encontre d'une décision incidente dépend de la cause au fond (<ref-ruling> consid. 1.1; <ref-ruling> consid. 2.2). Celle-là concerne, en l'occurrence, une action en divorce, à savoir une cause civile de nature non pécuniaire dans son ensemble (<ref-law>; arrêts 5A_727/2016 du 28 novembre 2016 consid. 1.1; 5A_845/2016 précité, consid 1.2; 5A_573/2017 du 19 octobre 2017 consid. 1.1). Le recours a par ailleurs été déposé dans le délai (<ref-law>) par une partie ayant la qualité pour recourir (<ref-law>).
2.
2.1. Comme il a été dit, seule est litigieuse devant la Cour de céans la question de savoir si l'autorité cantonale a considéré à juste titre que la condition du préjudice difficilement réparable posée à l'<ref-law> n'était pas remplie en l'espèce (cf. supra, consid. 1.1.1).
2.2. La Chambre des recours civile a reproché au recourant de s'être borné à soutenir que, selon la jurisprudence, le refus de limiter la procédure à la question du principe du divorce était généralement de nature à causer un préjudice difficilement réparable, sans motiver en en quoi tel était le cas en l'espèce. Elle a considéré que le fait qu'il ait un intérêt à ce que le principe du divorce soit prononcé dans un jugement séparé, compte tenu de ses projets de remariage, n'établissait pas que la condition du préjudice difficilement réparable était réalisée. Faute de démontrer le caractère avancé et concret de ses projets et en quoi ceux-ci lui causeraient un préjudice effectif s'ils ne pouvaient pas se réaliser, il échouait à établir que les conditions de l'<ref-law> étaient remplies.
2.3. Comme il a été dit (cf. supra, consid. 1.1.3), le refus de la Chambre des recours civile d'entrer en matière sur le recours cantonal du mari est susceptible de causer un préjudice irréparable au sens de l'<ref-law>. Or, selon la jurisprudence, l'admission de la condition d'un tel préjudice s'agissant de la recevabilité du recours en matière civile au Tribunal fédéral réalise a fortiori la condition du préjudice difficilement réparable de l'<ref-law> (<ref-ruling> consid. 2; arrêt 5A_845/2106 précité, consid. 2.2. et les références). C'est donc à tort que l'autorité cantonale a déclaré irrecevable le recours en application de cette dernière disposition.
En exigeant du recourant la démonstration du caractère avancé et concret des projets de remariage et du préjudice effectif subi si ces derniers ne devaient pas se réaliser, cette dernière a apparemment confondu l'examen des conditions mises à l'admission d'un jugement partiel sur le principe du divorce (<ref-ruling>) et celui de la recevabilité du recours cantonal au regard de l'exigence du préjudice difficilement réparable de l'<ref-law>. Au stade de la recevabilité du recours, il suffisait que le recourant allègue les faits déterminants pour juger la question litigieuse (théorie de la double pertinence; arrêts 2C_1054/2016 du 15 décembre 2017 consid. 2.2.3 et les références; 4A_109/2015 du 23 septembre 2015 consid. 1 et les arrêts cités).
3.
Vu ce qui précède, conformément aux conclusions subsidiaires du recourant, l'arrêt attaqué doit être annulé et la cause renvoyée à la cour cantonale pour qu'elle entre en matière sur le recours cantonal et examine si les conditions d'un jugement partiel sur le principe du divorce sont remplies en l'espèce. L'intimée, qui succombe (cf. <ref-ruling> consid. 11.1), supportera les frais de la procédure et versera des dépens au recourant (art. 66 al. 1 et 68 al. 1 et 2 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est partiellement admis, l'arrêt attaqué est annulé et la cause renvoyée à l'autorité cantonale pour nouvelle décision dans le sens des considérants.
2.
Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge de l'intimée.
3.
Une indemnité de 2'500 fr. à verser au recourant à titre de dépens, est mise à la charge de l'intimée.
4.
Le présent arrêt est communiqué aux parties et à la Chambre des recours civile du Tribunal cantonal du canton de Vaud.
Lausanne, le 21 novembre 2019
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
Le Président : Herrmann
La Greffière : Jordan