Faits : A. Par jugement de divorce du 15 février 2001, le Président du Tribunal civil du district de Lausanne a prononcé le divorce des époux A.A._ et A.B._ et a ratifié la convention du 7 mars 2000 signées par les parties. B. B.a. Par jugement du 5 juillet 2019, le Président du Tribunal civil de l'arrondissement de Lausanne a rejeté la requête d'interprétation du jugement précité déposée par A.A._ le 24 avril 2018. En substance, il a considéré que la convention du 7 mars 2000, bien que ratifiée dans le jugement de divorce, était le produit de la volonté des parties. Elle ne pouvait donc pas faire l'objet d'une demande d'interprétation au sens de l'art. 334 CPC, mais devait être interprétée selon l'art. 18 CO. Après avoir analysé la clause litigieuse de la convention, soit le chiffre III, il a retenu que le requérant ne demandait pas l'interprétation de celle-ci mais sa modification. Au pied de son jugement, il a indiqué l'appel comme voie de droit contre la décision précitée et le recours en matière de frais. B.b. B.b.a. Par acte du 9 septembre 2019, A.A._, représenté par un avocat, a interjeté un appel contre le jugement du 5 juillet 2019 auprès de la Cour d'appel civile du Tribunal cantonal du canton de Vaud (ci-après : cour d'appel). Il a conclu principalement à sa réforme, en ce sens que la requête d'interprétation du jugement du 15 février 2001 est admise et que le chiffre III de ce jugement soit précisé dans le sens requis. Subsidiairement, il a conclu à son annulation et au renvoi de la cause à l'instance précédente pour nouvelle décision dans le sens des considérants. Il a fait valoir que l'interprétation de la convention de divorce ratifiée dans le jugement du 15 février 2001 devait se faire selon l'art. 482 aCPC/VD, et non selon l'art. 18 CO. Le 1 er octobre 2019, l'appelant s'est adressé à la cour d'appel en la priant d'excuser son retard et en lui mentionnant que ce n'était pas un appel mais plutôt un recours qui devait être déposé. B.b.b. Par arrêt du 25 novembre 2019, la cour d'appel a déclaré irrecevable l'appel interjeté devant elle. C. Par acte posté le 17 janvier 2020, A.A._ interjette un recours en matière civile contre cet arrêt devant le Tribunal fédéral. Il conclut principalement à sa réforme, en ce sens que son appel du 9 septembre 2019 est converti en recours et qu'il est transmis à la Chambre des recours civile du Tribunal cantonal vaudois comme objet de sa compétence. Subsidiairement, il conclut à son annulation et au renvoi de la cause à l'autorité précédente pour nouvelle décision dans le sens des considérants. En substance, il se plaint de la violation de l'égalité de traitement (art. 8 Cst.), de l'art. 101 CO et de la protection de la bonne foi (art. 9 Cst.), d'arbitraire (art. 9 Cst.) dans l'application de l'art. 334 CPC et de formalisme excessif (art. 6 CEDH et 29 Cst.). Invitées à se déterminer, l'autorité cantonale s'est référée aux considérants de l'arrêt attaqué alors que l'intimée a conclu, par acte du 11 mai 2020, au rejet du recours. Par courrier du 28 mai 2020, le recourant a déclaré n'avoir plus de commentaire à ajouter.