Faits :
A.
Dans le cadre d'une action en libération de dette portant sur la somme de 7'166'650 fr. 04, plus intérêts, la Juge déléguée de la Chambre patrimoniale cantonale a, par prononcé du 23 décembre 2019, astreint le demandeur A._ à déposer au greffe de l'autorité précitée, dans un délai de 20 jours dès celui où la décision serait devenue définitive, la somme de 70'000 fr. en espèces ou une garantie d'un montant équivalent délivrée par une banque établie en Suisse ou par une société d'assurance autorisée à exercer en Suisse, sous peine d'être éconduit d'instance contre la défenderesse B._ SA.
Statuant le 14 février 2020, la Cour d'appel civile du Tribunal cantonal du canton de Vaud a déclaré irrecevable l'appel interjeté le 27 juin 2019 par A._ contre ce prononcé. Elle a considéré que seule la voie du recours de l'art. 319 al. 1 let. b ch. 1 CPC était ouverte en vertu du texte clair de l'<ref-law>, que le prénommé avait formé un appel par l'intermédiaire d'un mandataire professionnel, qui avait consacré un titre aux voies de droit et sciemment déposé un appel, de telle sorte que son acte était irrecevable et ne pouvait être converti nonobstant l'indication erronée des voies de droit au pied du prononcé litigieux.
B.
Par écriture du 14 avril 2020, A._ exerce un recours en matière civile au Tribunal fédéral. Dénonçant un formalisme excessif, il conclut à l'annulation de l'arrêt cantonal et au renvoi à la Chambre des recours civile compétente du Tribunal cantonal du canton de Vaud pour que celle-là traite l'écriture déposée comme un recours.
Sans y avoir été invitée, l'intimée a répondu au fond.
C.
Par ordonnance du 22 avril 2020, le Président de la IIe Cour de droit civil a accordé l'effet suspensif au recours.

Considérant en droit :
1.
L'arrêt entrepris déclare irrecevable l'appel interjeté contre une décision par laquelle l'autorité de première instance a astreint le demandeur, dans le cadre d'une action en libération de dette, à fournir des sûretés en garantie des dépens selon l'<ref-law>, dans un délai de 20 jours, sous peine d'être éconduit d'instance.
1.1. La Cour d'appel civile a ainsi rendu, en qualité d'autorité cantonale supérieure ayant statué sur recours (<ref-law>), une décision incidente dont les conditions de recours sont déterminées par la nature du litige principal (<ref-ruling> consid. 1.1; <ref-ruling> consid. 2.2) : le différend, qui concerne une action en libération de dette à hauteur de 7'166'650 fr. 04, est ici de nature civile (<ref-law>); d'ordre pécuniaire, il excède le seuil de 30'000 fr. prescrit par la loi (<ref-law>). Le recourant, qui a qualité pour recourir (<ref-law>), a agi en temps utile (art. 45 al. 1 et 100 al. 1 LTF).
1.2.
1.2.1. La seconde hypothèse prévue à l'<ref-law> n'entrant manifestement pas en considération, une telle décision incidente ne peut faire l'objet d'un recours au Tribunal fédéral que si elle peut causer un préjudice irréparable au sens de l'<ref-law>. Selon la jurisprudence, tel est le cas lorsque la partie recourante s'expose à un dommage de nature juridique qu'une décision ultérieure qui lui serait favorable ne fera pas disparaître complètement; un inconvénient seulement matériel, résultant par exemple d'un accroissement de la durée et des frais de la procédure, est insuffisant. La partie recourante doit démontrer en quoi elle se trouve menacée d'un préjudice juridique irréparable (sauf s'il est manifeste); à ce défaut, son recours est irrecevable (<ref-ruling> consid. 1.2; arrêt 5A_1013/2020 du 28 avril 2021 consid. 1.1). Cette condition s'apprécie par rapport à la décision de première instance, et non par rapport à la décision d'irrecevabilité du recours rendue par le tribunal supérieur (<ref-ruling> consid. 1.2).
Le Tribunal fédéral a déjà eu l'occasion de juger que la décision ordonnant la fourniture de sûretés en garantie des dépens prévue par l'<ref-law> ne cause pas un préjudice irréparable à la partie qui a les moyens financiers de fournir cette garantie, de sorte que le demandeur doit démontrer dans ses motifs qu'il n'est pas financièrement en mesure de le faire (<ref-ruling> consid. 2.3.4; arrêts 5A_818/2020 du 21 janvier 2021 consid. 3.3; 5A_819/2020 du 21 janvier 2021).
1.2.2. En l'espèce, si, dans son chapitre sur la recevabilité du recours, le recourant affirme que la décision querellée est incidente, il ignore complètement les conditions posées par l'<ref-law> qu'il ne mentionne d'ailleurs à aucun moment. Il n'allègue en particulier pas, ni ne démontre, qu'il ne serait financièrement pas en mesure de fournir la garantie de 70'000 fr. Il s'ensuit que le recours doit être écarté d'emblée.
2.
Cela étant, le recourant, qui succombe, supportera les frais de la procédure (<ref-law>). L'intimée ne peut prétendre à des dépens : elle a succombé dans ses conclusions sur la requête d'effet suspensif (<ref-law>) et s'est déterminée sur le fond sans y avoir été invitée (<ref-law>, applicable par renvoi de l'<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est irrecevable.
2.
Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties et à la Cour d'appel civile du Tribunal cantonal du canton de Vaud.
Lausanne, le 26 août 2021
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
Le Président : Herrmann
La Greffière : Jordan