Faits :
A.
B._ et A._ se sont mariés le 26 avril 2008. L'enfant C._ est né de cette union le 1er août 2008.
Les parties se sont séparées le 21 décembre 2009.
Depuis le 5 janvier 2013, B._ vit à D._ avec son compagnon E._. Ils sont fiancés et envisagent de se marier.
B.
La séparation de B._ et A._ a dans un premier temps été réglée par une ordonnance de mesures protectrices de l'union conjugale du 4 novembre 2010, prévoyant l'attribution du droit de garde à la mère et fixant un droit de visite en faveur du père. Par la suite, plusieurs ordonnances de mesures provisionnelles ont été rendues, notamment pour régler le droit de visite du père.
Par jugement du 1er février 2019, le Tribunal civil d'arrondissement de l'Est vaudois a notamment prononcé le divorce des parties, dit que l'autorité parentale sur l'enfant était conjointe, ratifié une convention partielle prévoyant l'attribution du droit de garde à la mère, fixé le droit de visite du père à défaut d'entente entre les parties et arrêté à 690 fr., allocations familiales en sus, la contribution d'entretien mensuelle due par le père en faveur de l'enfant.
C.
Par courriels des 1eret 8 mai 2019, B._ a informé son ex-conjoint de la mutation professionnelle aux Etats-Unis, dès la fin de l'année 2019 au plus tard, de son compagnon E._. Elle lui a fait part de son souhait de l'accompagner avec l'enfant, ce à quoi l'ex-époux s'est opposé par courriel du 16 mai 2019.
Par demande en modification du jugement de divorce du 21 mai 2019, l'ex-épouse a notamment conclu à ce que l'autorité parentale reste conjointe et à ce que le droit de déterminer le lieu de résidence de l'enfant lui soit attribué exclusivement en vue d'un départ aux Etats-Unis, le père demeurant au bénéfice d'un droit de visite. L'ex-époux a conclu au rejet de ces conclusions.
Par jugement du 6 avril 2020, le Tribunal civil d'arrondissement de l'Est vaudois a autorisé la mère à déplacer le lieu de résidence de l'enfant aux Etats-Unis et a fixé le droit de visite du père.
D.
Par arrêt du 10 juillet 2020, la Cour d'appel civile du Tribunal cantonal vaudois a partiellement admis l'appel interjeté le 18 mai 2020 par l'ex-époux et a réformé le jugement du 6 avril 2020 en modifiant les modalités d'exercice du droit de visite. Elle l'a confirmé pour le surplus.
E.
Par acte du 23 juillet 2020, l'ex-époux exerce un recours en matière civile au Tribunal fédéral contre l'arrêt du 10 juillet 2020, dont il requiert en substance l'annulation et la réforme en ce sens que la requête en modification du jugement de divorce introduite le 21 mai 2019 par la mère soit rejetée. Subsidiairement, il conclut au renvoi de la cause à l'autorité cantonale pour nouvelle instruction et décision dans le sens des considérants. Il sollicite également l'octroi de l'effet suspensif à son recours.
Par ordonnance du 29 juillet 2020, la Juge présidant la Cour de céans a admis la requête d'effet suspensif. Par ordonnance du 27 août 2020, elle a rejeté la requête de retrait de l'effet suspensif formée par l'intimée le 20 août 2020.
Des déterminations sur le fond n'ont pas été requises.

Considérant en droit :
1.
Le recours a été déposé en temps utile (<ref-law>) et dans la forme légale (<ref-law>) contre une décision finale (<ref-law>) rendue sur recours par une autorité supérieure statuant en dernière instance cantonale (<ref-law>), dans une affaire civile (<ref-law>) de nature non pécuniaire. Le recourant, qui a succombé devant la juridiction précédente, a en outre qualité pour recourir (art. 76 al. 1 let. a et b LTF). Le recours est donc en principe recevable.
2.
2.1. Le recours en matière civile peut être interjeté pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (<ref-law>). Il n'est donc limité ni par les arguments soulevés dans le recours, ni par la motivation retenue par l'autorité précédente; il peut admettre un recours pour un autre motif que ceux qui ont été invoqués et il peut rejeter un recours en adoptant une argumentation différente de celle de l'autorité précédente (<ref-ruling> consid. 2.1; <ref-ruling> consid. 3.2.3). Cela étant, eu égard à l'exigence de motivation contenue à l'<ref-law>, il n'examine en principe que les griefs soulevés (<ref-ruling> consid. 2.4). Le recourant doit par conséquent discuter les motifs de la décision entreprise et indiquer précisément en quoi l'autorité précédente a méconnu le droit (<ref-ruling> consid. 1.7.1; <ref-ruling> consid. 2.4). Il ne peut se contenter de reprendre presque mot pour mot l'argumentation formée devant l'autorité cantonale (<ref-ruling> consid. 5.2; <ref-ruling> consid. 2; <ref-ruling> consid. 2.1 et 2.3). Le Tribunal fédéral ne connaît en outre de la violation de droits fondamentaux que si un tel grief a été expressément invoqué et motivé de façon claire et détaillée (" principe d'allégation ", <ref-law>; <ref-ruling> consid. 1.1; <ref-ruling> consid. 2.4).
2.2. Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>). Il ne peut s'en écarter que si ces faits ont été constatés de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law>, et si la correction du vice est susceptible d'influer sur le sort de la cause (<ref-law>). Le recourant qui soutient que les faits ont été établis d'une manière manifestement inexacte, c'est-à-dire arbitraire au sens de l'art. 9 Cst. (<ref-ruling> consid. 2.2; <ref-ruling> consid. 2.3), doit, sous peine d'irrecevabilité, satisfaire au principe d'allégation susmentionné (cf. supra consid. 2.1). L'appréciation des preuves n'est arbitraire que si le juge n'a manifestement pas compris le sens et la portée d'un moyen de preuve, s'il a omis, sans raison sérieuse, de tenir compte d'un moyen important propre à modifier la décision attaquée ou encore si, sur la base des éléments recueillis, il a procédé à des déductions insoutenables (<ref-ruling> consid. 1.1; <ref-ruling> consid. 2.3).
3.
Le recourant fait grief à l'autorité cantonale d'avoir violé l'<ref-law>.
3.1. Aux termes de l'<ref-law>, l'autorité parentale inclut le droit de déterminer le lieu de résidence de l'enfant (al. 1). Un parent exerçant conjointement l'autorité parentale ne peut modifier le lieu de résidence de l'enfant qu'avec l'accord de l'autre parent ou sur décision du juge ou de l'autorité de protection de l'enfant dans les cas suivants: a. le nouveau lieu de résidence se trouve à l'étranger; b. le déménagement a des conséquences importantes pour l'exercice de l'autorité parentale par l'autre parent et pour les relations personnelles (al. 2).
S'agissant de l'autorisation de déplacer le lieu de résidence de l'enfant au sens de l'<ref-law>, le modèle de prise en charge préexistant constitue, sous réserve d'une modification de la situation, le point de départ de l'analyse. Si le parent qui souhaite déménager était titulaire de la garde exclusive sur l'enfant ou était le parent de référence, à savoir celui qui prenait jusqu'ici l'enfant en charge de manière prépondérante (<ref-ruling> consid. 4.1; <ref-ruling> consid. 2.5; <ref-ruling> consid. 4.3.2), il sera en principe dans l'intérêt de l'enfant de déménager avec lui, pour autant qu'il puisse lui garantir une prise en charge similaire dans son futur lieu de vie et que le déménagement n'entraîne pas une mise en danger du bien de l'enfant (<ref-ruling> consid. 2.7 et les références; <ref-ruling> consid. 2.5). Une telle mise en danger sera par exemple admise lorsque l'enfant souffre d'une pathologie qui ne pourra pas être soignée correctement dans son futur lieu de vie ou lorsque le déménagement est envisagé peu de temps avant la fin d'un cycle scolaire. En revanche, les difficultés usuelles inhérentes à l'intégration dans un nouveau lieu de vie et à l'apprentissage d'une nouvelle langue ne constituent pas dans la règle une mise en danger du bien de l'enfant (<ref-ruling> consid. 3.3). Même lorsque ces conditions sont remplies, il faut encore tenir compte des circonstances concrètes du cas d'espèce et notamment de l'âge de l'enfant et des souhaits exprimés par ce dernier, dès lors que plus un enfant grandit moins il sera dépendant et attaché à son parent de référence alors que son environnement, les activités auxquelles il prend part et son cercle social gagneront en importance (<ref-ruling> consid. 4.1; <ref-ruling> consid. 4.3; <ref-ruling> consid. 2.7; arrêts 5A_539/2020 du 17 août 2020 consid. 4.1.3; 5A_916/2019 du 12 mars 2020 consid. 3.2).
3.2. Dans l'arrêt déféré, l'autorité cantonale a retenu qu'à tous points de vue, le transfert de la garde auprès du père en Valais et le maintien de la garde à la mère avec un déménagement aux Etats-Unis garantissaient dans la même mesure le bon développement de l'enfant. Conformément à la jurisprudence qui commandait, dans ce genre de situations, de privilégier la stabilité de la garde, c'était à bon droit que les premiers juges avaient autorisé l'intimée à déplacer le lieu de résidence de l'enfant aux Etats-Unis. La juridiction précédente a également relevé que, même si cela n'était pas décisif en l'espèce, le déplacement était conforme aux souhaits exprimés par l'enfant.
3.3. De manière générale, le recourant reproche aux juges cantonaux d'avoir considéré que le développement de l'enfant serait tout aussi bon aux Etats-Unis qu'en Suisse. Il fait valoir qu'au contraire, l'enfant bénéficierait d'une plus grande sécurité et d'une meilleure stabilité en restant auprès de lui, ce qui justifierait d'interdire son déménagement à l'étranger. Le recourant appuie son argumentation sur des faits concernant " l'instabilité de la situation financière de l'intimée ", " sa dépendance financière à son compagnon " et " la situation sanitaire catastrophique liée à la crise du coronavirus aux Etats-Unis ". A cet égard, il se plaint d'une constatation arbitraire des faits sur la base de l'<ref-law> - dont on présume qu'il s'agit en réalité de l'<ref-law>.
3.4. S'agissant tout d'abord de la crise sanitaire invoquée, le recourant reproche à l'autorité cantonale d'avoir éludé la situation actuelle liée au coronavirus (COVID-19). Il fait valoir que, selon une proclamation présidentielle du 1er janvier 2020, l'entrée sur sol américain serait suspendue pour les ressortissants étrangers n'ayant pas le statut de résident permanent et ayant précédemment été présents sur le sol suisse. Selon le recourant, la crise sanitaire mettrait la santé de l'enfant en péril, l'empêcherait de débuter sa scolarité aux Etats-Unis et engendrerait un risque de décrochage scolaire.
En l'espèce, il ressort de l'arrêt entrepris que l'autorité cantonale n'a pas évoqué la crise sanitaire et ses éventuelles conséquences sur le territoire états-unien, qui relèvent du fait. Or, dans son mémoire, le recourant se contente d'exposer sa propre version des faits à cet égard, sans expliquer, sur la base des réquisits de l'<ref-law>, en quoi la cour cantonale aurait procédé à une appréciation arbitraire des preuves (cf. supra consid. 2.2). Il s'ensuit qu'en tant que l'argumentation du recourant repose sur les faits litigieux, elle est irrecevable, faute de motivation appropriée.
3.5. Le recourant soutient que l'intimée aurait admis qu'elle pourrait conserver sa galerie d'art ouverte malgré son départ aux Etats-Unis et qu'elle devrait revenir régulièrement en Suisse pour la gérer. Il en déduit que, si l'enfant était autorisé à vivre auprès de lui, la mère pourrait lui rendre visite plus fréquemment que lui-même ne le pourrait en cas de déménagement de l'enfant aux Etats-Unis.
Dans l'arrêt querellé, les juges cantonaux ont retenu que l'intimée exploitait une galerie d'art en Suisse et qu'elle n'avait pas encore décidé si elle allait la fermer après son départ. Le maintien de l'ouverture de la galerie d'art de l'intimée, tel invoqué par le recourant, contredit dès lors l'état de fait cantonal. Or, à nouveau, le recourant ne fournit sur ce point aucune motivation répondant aux exigences de l'<ref-law> (cf. supra consid. 2.2). Partant, l'argument du recourant est irrecevable.
3.6. S'agissant de la situation de l'intimée aux Etats-Unis, le recourant fait valoir que celle-ci n'aurait donné aucune garantie quant à sa capacité d'entretenir l'enfant une fois le déménagement à l'étranger intervenu et soutient que, sur le plan financier, elle dépendrait entièrement de son compagnon. Le recourant entend principalement en tirer pour conséquence qu'en cas de rupture, l'enfant et la mère se retrouveraient dans une situation précaire pouvant mettre en péril la stabilité de l'enfant. Selon lui, un nouveau déménagement du couple pour des raisons professionnelles ne saurait en outre être exclu, ce qui aurait pour conséquence de déplacer une seconde fois le lieu de résidence de l'enfant.
L'autorité cantonale a relevé que l'intimée et son compagnon E._ avaient d'ores et déjà sollicité un visa qui les autoriserait à résider de manière permanente aux Etats-Unis avec l'enfant, sous réserve que le couple se marie dans les 90 jours dès son entrée dans ce pays. Dans ce cadre, le compagnon devait également attester qu'il soutenait financièrement l'intimée et son fils. Les juges cantonaux ont en outre retenu que le couple faisait construire une maison aux Etats-Unis, dans la ville où travaillerait E._. Ils ont par ailleurs relevé que, lors de son interrogatoire, l'intimée avait précisé qu'elle continuerait quoi qu'il en soit à subvenir aux besoins de l'enfant comme elle l'avait toujours fait, également avec l'aide de son compagnon. Finalement, la cour cantonale a retenu qu'après un temps d'adaptation pour elle-même et pour l'enfant, l'intimée prévoyait de prendre un emploi et qu'elle avait déjà pris des contacts dans ce but.
En l'espèce, le grief du recourant est infondé. L'examen réalisé par la juridiction précédente suffit en effet pour admettre qu'en l'état, la subsistance de l'enfant aux Etats-Unis apparaît garantie, même si, à titre transitoire, elle pourrait s'effectuer par l'intermédiaire du compagnon de l'intimée. Sur ce point, il apparaît qu'en tant que le recourant invoque une future séparation de l'intimée d'avec son compagnon ou encore un second déplacement de l'enfant, il soulève de pures conjectures, dont les perspectives de réalisation ne trouvent aucun fondement dans l'état de fait cantonal. Du reste, une séparation du couple apparaît à ce stade peu probable, dès lors qu'il ressort de l'arrêt querellé - sans que cela soit contesté par le recourant - que l'intimée fait ménage commun avec son compagnon depuis plus de sept ans et que le couple envisage un prochain mariage qui, compte tenu des exigences en matière de visa, devra se concrétiser dans les 90 jours après le déménagement aux Etats-Unis. Il sied par ailleurs de rappeler que le recourant demeure tenu de verser chaque mois une contribution d'entretien de 690 fr., qui reste en tout état de cause acquise à la subsistance de l'enfant.
Il s'ensuit que, sous l'angle des principes jurisprudentiels exposés précédemment (cf. supra consid. 3.1), le recourant ne parvient pas à démontrer l'existence de motifs permettant de retenir que le déplacement du lieu de résidence de l'enfant empêcherait une prise en charge similaire dans son futur lieu de vie ou qu'il entraînerait une mise en danger de son bon développement.
4.
En définitive, le recours doit être rejeté dans la mesure de sa recevabilité. Les frais judiciaires concernant les requêtes d'effet suspensif et le recours, arrêtés à 2'500 fr., sont mis à la charge du recourant, qui succombe (<ref-law>). Une indemnité de 300 fr., à payer à l'intimée à titre de dépens pour ses déterminations sur l'effet suspensif, est mise à la charge du recourant (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 2'500 fr., sont mis à la charge du recourant.
3.
Une indemnité de 300 fr., à payer à l'intimée à titre de dépens, est mise à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties et à la Cour d'appel civile du Tribunal cantonal.
Lausanne, le 23 septembre 2020
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
Le Président : Herrmann
La Greffière : Gudit