Faits :
A.
Les époux A._ se sont séparés le 24 décembre 2020. L'enfant C._ est né de leur union en 2015.
Lors de l'audience de mesures protectrices de l'union conjugale du 12 février 2021, les parties ont passé une convention, ratifiée séance tenante par la Présidente du Tribunal civil de l'arrondissement de La Côte (ci-après : Présidente), pour valoir prononcé partiel de mesures protectrices de l'union conjugale.
Par diverses ordonnances de mesures superprovisionnelles des 3 mars 2021, 26 mars 2021, 15 avril 2021, 26 mai 2021, 19 août 2021 et 20 août 2021, la Présidente a réglé le droit aux relations personnelles de l'époux sur l'enfant des parties et astreint l'époux à contribuer à l'entretien de celui-ci.
A.a. Par ordonnance de mesures protectrices de l'union conjugale du 23 août 2021, la Présidente a notamment confié la garde de l'enfant à l'épouse (ch. I du dispositif), fixé le droit de visite de l'époux sur son fils dès le 1 er novembre 2021 à raison d'un week-end sur deux du vendredi au dimanche soir (ch. II), astreint l'époux à contribuer mensuellement à l'entretien de l'enfant à hauteur de 12'830 fr., dès et y compris le 23 décembre 2020 (ch. III), et astreint l'époux à contribuer mensuellement à l'entretien de son épouse à hauteur de 12'800 fr., dès et y compris le 23 décembre 2020 (ch. IV).
Le 3 septembre 2021, B.A._ a interjeté appel, requérant que l'exécution du chiffre II. du dispositif de l'ordonnance attaquée soit suspendue.
Le même jour, A.A._ a également interjeté appel, sollicitant pour sa part l'effet suspensif s'agissant des chiffres III. et IV. du dispositif de l'ordonnance entreprise.
A.b. Par ordonnance du 10 septembre 2021, la Juge déléguée de la Cour d'appel civile du Tribunal cantonal du canton de Vaud (ci-après : Juge déléguée) a rejeté les requêtes d'effet suspensif déposées par les parties.
B.
Par acte du 13 octobre 2021, A.A._ exerce un recours en matière civile au Tribunal fédéral, concluant à l'admission de sa requête d'effet suspensif à son appel contre les chiffres III. et IV. de l'ordonnance de mesures protectrices de l'union conjugale du 23 août 2021.
Des réponses n'ont pas été requises.

Considérant en droit :
1.
1.1. La décision querellée, qui refuse de suspendre l'exécution de plusieurs chiffres du dispositif d'une ordonnance de mesures protectrices de l'union conjugale, contre laquelle un appel a été formé, constitue une décision incidente en matière civile (art. 72 al. 1 LTF; cf. arrêt 5A_321/2019 du 24 mai 2019 consid. 2.1). La Juge déléguée n'a pas statué sur recours mais en qualité d'autorité cantonale unique dans le cadre d'une procédure d'appel; le recours en matière civile est cependant admissible en vertu de l'art. 75 al. 2 LTF (<ref-ruling> consid. 1.2; <ref-ruling> consid. 1.1).
Le recours contre une décision incidente est soumis à la voie de droit qui est ouverte contre la décision principale (<ref-ruling> consid. 1.1). La cause pour laquelle l'effet suspensif est requis est une affaire matrimoniale (art. 72 al. 1 LTF) de nature non pécuniaire dans son ensemble (arrêt 5A_648/2020 du 12 juillet 2021 consid. 1 avec les références). Le présent recours a en outre été interjeté dans le délai (art. 100 al. 1 LTF) et en la forme (art. 42 al. 1 LTF) prévus par la loi par une partie qui a succombé dans ses conclusions en instance cantonale (art. 76 LTF).
1.2. Hormis les décisions mentionnées à l'art. 92 al. 1 LTF, une décision préjudicielle ou incidente ne peut être entreprise immédiatement que si elle peut causer un préjudice irréparable (art. 93 al. 1 let. a LTF) ou si l'admission du recours peut conduire immédiatement à une décision finale qui permet d'éviter une procédure probatoire longue et coûteuse (art. 93 al. 1 let. b LTF). Le "préjudice irréparable" au sens de l'art. 93 al. 1 let. a LTF doit être de nature juridique et ne pas pouvoir être réparé ultérieurement par une décision finale favorable au recourant (<ref-ruling> consid. 1.2; <ref-ruling> consid. 2.3), en particulier parce que la décision incidente contestée ne peut plus être attaquée avec la décision finale, rendant ainsi impossible le contrôle par le Tribunal fédéral (<ref-ruling> consid. 2.2). Un dommage économique ou de pur fait, tel que l'accroissement des frais de la procédure ou la prolongation de celle-ci, n'est pas considéré comme un préjudice irréparable de ce point de vue (<ref-ruling> consid. 2.2; <ref-ruling> consid. 1.2; <ref-ruling> consid. 2.3.1 et les arrêts cités). Il appartient au recourant d'alléguer et d'établir la possibilité que la décision préjudicielle ou incidente lui cause un tel dommage, à moins que celui-ci ne fasse d'emblée aucun doute (<ref-ruling> consid. 2.2 in fine et les références).
1.2.1. Selon la jurisprudence, une décision sur le droit de visite est susceptible de causer un préjudice irréparable au sens de l'art. 93 al. 1 let. a LTF, puisque les droits parentaux sont arrêtés pour la durée de la procédure, même si le recourant obtient finalement gain de cause au fond, aucune réparation ne sera possible pour la période écoulée (<ref-ruling> consid. 1; arrêt 5A_792/2018 du 6 février 2019 consid. 1.2). En revanche, de jurisprudence constante, le fait d'être exposé au paiement d'une somme d'argent n'entraîne en principe aucun préjudice de cette nature (<ref-ruling> consid. 1.3.1; <ref-ruling> consid. 1.2). Il n'y a d'exception que si le paiement de la somme litigieuse expose la partie recourante à d'importantes difficultés financières ou si, en cas d'admission du recours, le recouvrement du montant acquitté paraît aléatoire en raison de la solvabilité douteuse du créancier (arrêts 5A_12/2019 du 26 février 2019 consid. 1.2; 5A_387/2018 du 17 juillet 2018 consid. 1.3 et les références).
1.2.2. En l'occurrence, le recourant ne remet en cause que la suspension des chiffres du dispositif concernant l'entretien (ch. III. et IV.), non la question - encore litigieuse devant l'autorité précédente - de son droit aux relations personnelles (ch. II.). Au vu du principe selon lequel un préjudice d'ordre purement financier est généralement dépourvu de pertinence au regard de l'art. 93 al. 1 let. a LTF, la recevabilité du recours à l'aune de cette disposition est ainsi douteuse, quand bien même le recourant soutient qu'il ne perçoit aucun revenu et n'a pas de fortune lui permettant de s'acquitter des contributions d'entretien litigieuses et qu'il serait triplement impacté par l'obligation de verser ces contributions d'entretien (par la saisie de la villa conjugale, le risque de poursuites à son encontre et une éventuelle plainte pénale pour violation de son obligation d'entretien), mais peut cependant souffrir de demeurer indécise, vu le sort du recours.
2.
2.1. La décision accordant l'effet suspensif, comme celle d'exécution provisoire ou de refus de l'effet suspensif (<ref-ruling> consid. 2), est une décision de mesures provisionnelles au sens de l'art. 98 LTF, de sorte que seule la violation de droits constitutionnels peut être dénoncée. Le Tribunal fédéral n'examine en outre les griefs de violation de droits constitutionnels que s'ils ont été invoqués et motivés ("principe d'allégation", art. 106 al. 2 LTF), à savoir expressément soulevés et exposés de manière claire et détaillée (<ref-ruling> consid. 2.4; <ref-ruling> consid. 2.2). Le recourant qui se plaint de la violation d'un droit fondamental ne peut donc pas se contenter d'opposer sa thèse à celle de l'autorité cantonale, mais doit démontrer ses allégations par une argumentation précise (<ref-ruling> consid. 3; <ref-ruling> consid. 3.2; arrêt 5A_663/2018 du 12 septembre 2018 consid. 4).
2.2. Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF). Dans l'hypothèse d'un recours soumis à l'art. 98 LTF, le recourant qui soutient que les faits ont été établis de manière manifestement inexacte ne peut obtenir la rectification ou le complètement des constatations de fait de l'arrêt cantonal que s'il démontre la violation de droits constitutionnels, particulièrement de l'art. 9 Cst., conformément au principe d'allégation susmentionné (cf. supra consid. 2.1). Le recourant ne peut pas se borner à contredire les constatations litigieuses par ses propres allégations ou par l'exposé de sa propre appréciation des preuves; une critique des faits qui ne satisfait pas au principe d'allégation est irrecevable (art. 106 al. 2 LTF; <ref-ruling> consid. 1.4.3).
2.3. Aucun fait nouveau ni preuve nouvelle ne peut être présenté, à moins de résulter de la décision de l'autorité précédente (art. 99 al. 1 LTF). Cette exception vise les faits qui sont rendus pertinents pour la première fois par la décision attaquée. En dehors de ces cas, les nova ne sont pas admissibles, qu'il s'agisse de faits ou moyens de preuve survenus postérieurement à la décision attaquée, ou d'éléments que les parties ont négligé de présenter aux autorités cantonales (<ref-ruling> consid. 3.1.2; <ref-ruling> consid. 4.4.3).
3.
Statuant sur l'effet suspensif relatif au paiement des contributions d'entretien, l'autorité précédente a retenu que le recourant n'avait pas allégué que le versement de ces pensions entamerait son minimum vital, qu'il disposait " vraisemblablement d'une fortune mobilière conséquente, qui s'élevait à tout le moins à 1'367'881 fr. au 31 décembre 2020 ", et qu'il ne prétendait pas qu'il serait impossible de récupérer le montant d'un éventuel indû puisqu'il soutenait que son épouse jouissait également d'une fortune confortable. La Juge déléguée a ainsi retenu qu'il n'apparaissait pas prima facie que le versement des contributions d'entretien litigieuses causerait un préjudice difficilement réparable à l'époux au sens restrictif de l'art. 315 al. 5 CPC et a donc refusé d'accorder l'effet suspensif.
4.
Le recourant dénonce d'abord un établissement incorrect des faits. Il reproche à l'autorité précédente d'avoir nié que le versement des pensions entamerait intégralement son minimum vital alors qu'il a été retenu qu'en l'absence de toute aide financière de son père et de toute perspective de revenu, il est dans l'incapacité totale de s'acquitter des contributions d'entretien. Il conteste également le fait qu'il disposait librement au 31 décembre 2020 d'une fortune mobilière de 1'367'881 fr., dès lors qu'il a prouvé par pièces que le compte bancaire CHxx xxxx xxxx xxxx xxxx x crédité de ce montant est bloqué en garantie du prêt hypothécaire de la villa conjugale que son épouse refuse de vendre.
En l'occurrence, il apparaît que le recourant se limite à substituer sa propre appréciation de sa cause à celle de la juge précédente afin de parvenir à la solution opposée et ne démontre pas - singulièrement au regard des exigences accrues de motivation d'un grief de nature constitutionnelle (art. 106 al. 2 LTF par renvoi de l'art. 98 LTF; cf. supra consid. 2.1 et 2.2) - que celle-ci aurait versé dans l'arbitraire (art. 9 Cst.) dans l'établissement des faits et l'appréciation des preuves. La juge cantonale a constaté que le recourant n'avait pas allégué une violation de son minimum vital en cas de versement des contributions d'entretien (cf. supra consid. 3). En tant qu'il allègue dorénavant une telle violation, il s'agit d'un novum que le recourant ne démontre pas avoir été empêché d'alléguer plus tôt dans la procédure, alors que ce fait est manifestement pertinent en matière d'entretien. Quant à sa critique concernant la disponibilité de sa fortune, le recourant se contente d'évoquer un seul compte bancaire, lequel est certes un compte de dépôt de garantie, mais ne discute pas d'autres ressources, ni n'allègue qu'il ne serait titulaire d'aucun autre compte bancaire. Or, il ressort des pièces produites par le recourant et reproduites dans le présent recours que les époux sont titulaires de plusieurs comptes bancaires. Le grief d'appréciation arbitraire des faits et preuves, dans la mesure où il est recevable (exigences minimales de motivation et novum; art. 99 al. 1 et 106 al. 2 LTF, cf. supra consid. 2.2 et 2.3) est ainsi d'emblée mal fondé.
5.
Le recourant se plaint ensuite du refus de l'effet suspensif, discutant la notion de préjudice difficilement réparable au sens de l'art. 315 al. 5 CPC, rappelant à cet égard que sa situation peut être triplement impactée par le refus de l'effet suspensif : par la saisie de la villa conjugale, le risque de poursuites introduites à son encontre, et une plainte pénale de son épouse pour violation de son obligation d'entretien.
5.1. L'appel n'a en principe pas d'effet suspensif lorsqu'il a pour objet des décisions portant sur des mesures provisionnelles (art. 315 al. 4 let. b CPC). En vertu de l'art. 315 al. 5 CPC, l'exécution des mesures provisionnelles peut toutefois être exceptionnellement suspendue si la partie concernée risque de subir un préjudice difficilement réparable. Le préjudice difficilement réparable peut être de nature factuelle; il concerne tout préjudice, patrimonial ou immatériel, et peut même résulter du seul écoulement du temps pendant le procès. Le dommage est constitué, pour celui qui requiert les mesures provisionnelles, par le fait que, sans celles-ci, il serait lésé dans sa position juridique de fond et, pour celui qui recourt contre le prononcé de telles mesures, par les conséquences matérielles qu'elles engendrent (<ref-ruling> consid. 6.3; <ref-ruling> consid. 4.1). Saisie d'une demande d'effet suspensif, l'autorité de recours doit faire preuve de retenue et ne modifier la décision de première instance que dans des cas exceptionnels; elle dispose cependant d'un large pouvoir d'appréciation permettant de tenir compte des circonstances concrètes du cas d'espèce (<ref-ruling> consid. 4.1; arrêt 5A_792/2018 du 6 février 2019 consid. 3.2.2).
5.2. En l'espèce, le recourant ne soulève pas son grief de violation du droit fédéral sous l'angle de l'arbitraire (art. 9 Cst.) et ne motive en conséquence pas son grief conformément aux exigences accrues de l'art. 106 al. 2 LTF. Le grief est ainsi d'emblée irrecevable. Au demeurant et sur le fond, le raisonnement de l'autorité précédente n'apparaît pas insoutenable, dès lors qu'au vu des principes précédemment exposés (cf. supra consid. 5.1) et des constatations de la cour cantonale quant aux ressources financières du recourant, le versement des contributions d'entretien pour la durée de la procédure d'appel ne lui occasionne pas de préjudice difficilement réparable. Le recourant ne fait qu'évoquer un risque de poursuites, de saisie et de plainte pénale à son encontre, sans rendre concrètement vraisemblable de telles hypothèses en l'espèce. En conclusion, sa critique, fut-elle dument motivée au regard des exigences minimales de motivation d'un grief (cf. supra consid. 2.1), serait d'emblée mal fondée.
6.
Vu ce qui précède, le recours est rejeté dans la mesure de sa recevabilité. Les frais judiciaires sont en conséquence mis à la charge du recourant, qui succombe (art. 66 al. 1 LTF). Il n'y a pas lieu d'allouer de dépens (art. 68 al. 1 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
L es frais judiciaires, arrêtés à 1'500 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties et à la Juge déléguée de la Cour d'appel civile du Tribunal cantonal du canton de Vaud.
Lausanne, le 8 novembre 2021
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
Le Président : Herrmann
La Greffière : Gauron-Carlin