Faits : A. B._ et A._ se sont mariés le 26 avril 2008. L'enfant C._ est né de cette union le 1er août 2008. Les parties se sont séparées le 21 décembre 2009. Depuis le 5 janvier 2013, B._ vit à D._ avec son compagnon E._. Ils sont fiancés et envisagent de se marier. B. La séparation de B._ et A._ a dans un premier temps été réglée par une ordonnance de mesures protectrices de l'union conjugale du 4 novembre 2010, prévoyant l'attribution du droit de garde à la mère et fixant un droit de visite en faveur du père. Par la suite, plusieurs ordonnances de mesures provisionnelles ont été rendues, notamment pour régler le droit de visite du père. Par jugement du 1er février 2019, le Tribunal civil d'arrondissement de l'Est vaudois a notamment prononcé le divorce des parties, dit que l'autorité parentale sur l'enfant était conjointe, ratifié une convention partielle prévoyant l'attribution du droit de garde à la mère, fixé le droit de visite du père à défaut d'entente entre les parties et arrêté à 690 fr., allocations familiales en sus, la contribution d'entretien mensuelle due par le père en faveur de l'enfant. C. Par courriels des 1eret 8 mai 2019, B._ a informé son ex-conjoint de la mutation professionnelle aux Etats-Unis, dès la fin de l'année 2019 au plus tard, de son compagnon E._. Elle lui a fait part de son souhait de l'accompagner avec l'enfant, ce à quoi l'ex-époux s'est opposé par courriel du 16 mai 2019. Par demande en modification du jugement de divorce du 21 mai 2019, l'ex-épouse a notamment conclu à ce que l'autorité parentale reste conjointe et à ce que le droit de déterminer le lieu de résidence de l'enfant lui soit attribué exclusivement en vue d'un départ aux Etats-Unis, le père demeurant au bénéfice d'un droit de visite. L'ex-époux a conclu au rejet de ces conclusions. Par jugement du 6 avril 2020, le Tribunal civil d'arrondissement de l'Est vaudois a autorisé la mère à déplacer le lieu de résidence de l'enfant aux Etats-Unis et a fixé le droit de visite du père. D. Par arrêt du 10 juillet 2020, la Cour d'appel civile du Tribunal cantonal vaudois a partiellement admis l'appel interjeté le 18 mai 2020 par l'ex-époux et a réformé le jugement du 6 avril 2020 en modifiant les modalités d'exercice du droit de visite. Elle l'a confirmé pour le surplus. E. Par acte du 23 juillet 2020, l'ex-époux exerce un recours en matière civile au Tribunal fédéral contre l'arrêt du 10 juillet 2020, dont il requiert en substance l'annulation et la réforme en ce sens que la requête en modification du jugement de divorce introduite le 21 mai 2019 par la mère soit rejetée. Subsidiairement, il conclut au renvoi de la cause à l'autorité cantonale pour nouvelle instruction et décision dans le sens des considérants. Il sollicite également l'octroi de l'effet suspensif à son recours. Par ordonnance du 29 juillet 2020, la Juge présidant la Cour de céans a admis la requête d'effet suspensif. Par ordonnance du 27 août 2020, elle a rejeté la requête de retrait de l'effet suspensif formée par l'intimée le 20 août 2020. Des déterminations sur le fond n'ont pas été requises.