Faits :
A.
Par jugement du 4 octobre 2019, le Tribunal de police de l'arrondissement de l'Est vaudois a reconnu A._ coupable de violation simple et grave des règles de la circulation routière et l'a condamné, outre aux frais de la procédure, à une peine pécuniaire de 30 jours-amende à 120 fr. le jour, ainsi qu'à une amende de 120 fr., et a renoncé à révoquer le sursis qui lui avait été accordé par le Ministère public de l'arrondissement du Nord vaudois le 21 juin 2018.
B.
Statuant le 6 février 2020, la Cour d'appel pénale du Tribunal cantonal vaudois a rejeté l'appel formé par A._ contre ce jugement.
En substance, la décision cantonale repose sur les faits suivants.
B.a. Le 12 décembre 2018 vers 09h00, sur la chaussée montagne de l'autoroute A9, km 54.600-43.500 (Bex-Nord/Villeneuve), à plusieurs reprises depuis la jonction de Bex, A._ a circulé au volant d'un véhicule automobile derrière des voitures qui se trouvaient sur la voie de gauche, sans garder une distance de sécurité suffisante pour circuler en file, laquelle ne lui aurait pas permis de réagir en cas d'événement imprévu. Par ailleurs, il a parfois circulé à une vitesse supérieure à celle autorisée, à savoir 140 km/h au lieu de 120 km/h.
B.b. A._, de nationalité suisse, est né en 1993 à B._. Célibataire et sans enfant, il habite à C._ avec son père, son frère et ses deux soeurs. Il oeuvre au sein du Département de la défense de la Confédération suisse depuis 2013, que ce soit lors de périodes de services militaires ou par une activité professionnelle, comme ce fut le cas entre juillet 2016 et décembre 2018 et à nouveau depuis le mois de juin 2019. Depuis cette date, ses revenus mensuels nets s'élèvent à 5'546 fr., versés treize fois l'an. Cet emploi aurait dû prendre fin en novembre 2019, mais son contrat a été prolongé jusqu'au 31 décembre 2020, pour un taux d'occupation à 100%. Il exerce la fonction de commandant de compagnie. A._ verse à son père 600 fr. par mois pour le logement et la nourriture. Il utilise une voiture privée pour se rendre sur sa place de travail, à savoir la caserne de D._. Il indique ne pas bénéficier d'avantage relatif aux transports ou à la nourriture dû à son statut de militaire. Sa prime d'assurance maladie se monte à 179.90 fr. par mois et sa charge fiscale à environ 500 fr. par mois.
Selon son casier judiciaire, il a été condamné le 21 juin 2018 par le Ministère public de l'arrondissement du Nord vaudois pour conduite malgré une incapacité de conduire et contravention à la LStup (RS 812.121), à une peine pécuniaire de 60 jours-amende à 50 fr. le jour, assortie du sursis et d'un délai d'épreuve de deux ans, ainsi qu'à une amende de 700 francs. A la suite de cette condamnation, le Service des automobiles et de la navigation a prononcé le 23 novembre 2018 une mesure de retrait de permis pour une durée de trois mois, valable du 3 avril 2018 au 2 juillet 2018.
C.
A._ forme un recours en matière pénale au Tribunal fédéral contre le jugement précité. Il conclut, avec suite de frais et dépens, à sa réforme, principalement en ce sens qu'il est condamné à une peine pécuniaire de 30 jours-amende à 30 fr. le jour, assortie du sursis et d'un délai d'épreuve de trois ans, subsidiairement à une peine pécuniaire de 30 jours-amende à 30 fr. le jour. Plus subsidiairement, il conclut à l'annulation de la décision attaquée et au renvoi de la cause à l'autorité cantonale pour nouvelle décision dans le sens des considérants.

Considérant en droit :
1.
Le recourant dénonce une violation de l'art. 34 al. 2 CP, le montant du jour-amende fixé à 120 fr. étant trop élevé en regard de sa situation financière. Celui-ci devrait être arrêté à 30 francs.
1.1. Selon l'art. 34 al. 2 3ème phrase CP, le juge fixe le montant du jour-amende selon la situation personnelle et économique de l'auteur au moment du jugement, notamment en tenant compte de son revenu et de sa fortune, de son mode de vie, de ses obligations d'assistance, en particulier familiales, et du minimum vital.
Le montant du jour-amende doit être fixé en partant du revenu que l'auteur réalise en moyenne quotidiennement, quelle qu'en soit la source (salaire, revenu d'une activité indépendante, rentes, aide sociale, etc.). Il convient d'en soustraire ce qui est dû en vertu de la loi ou ce dont l'auteur ne jouit pas économiquement. Il en va ainsi des impôts courants, des cotisations à l'assurance-maladie et accidents obligatoire, ou encore des frais nécessaires d'acquisition du revenu, comme les frais de déplacement (<ref-ruling> consid. 5.3.2 p. 320 s.; <ref-ruling> consid. 6.1 p. 68).
1.2. La cour cantonale s'est fondée sur un revenu net de 5'550 fr., sur la base d'une pièce produite par le recourant aux débats d'appel. Les seules charges auxquelles il devait faire face étaient une prime d'assurance-maladie de 180 fr. par mois, des impôts de 500 fr. par mois, ainsi qu'un montant de 600 fr. par mois qu'il indiquait verser à son père pour le logement et la nourriture. Il restait dès lors un solde mensuel de 4'270 fr., dont on pouvait encore déduire 600 fr. (minimum vital de 1'200 fr. - 600 fr.) pour les autres charges incompressibles qui n'étaient pas déjà incluses dans le forfait versé au père. Le disponible était donc de 3'670 fr., ce qui, divisé par 30, donnait un montant de 122 francs. La cour cantonale a dès lors confirmé le montant du jour-amende fixé par le premier juge à 120 fr. par jour.
1.3. Le recourant affirme que la cour cantonale aurait omis de prendre en compte ses frais de nourriture, dans la mesure où il ne vivrait chez son père que les fins de semaine, logeant chez un ami ou à son bureau durant la semaine. Un montant de 238 fr. 70 (21.7 x 11 fr.) devrait être retenu à ce titre. Dans cette mesure, on ne pouvait pas non plus considérer qu'il y avait une réduction des coûts découlant de la cohabitation avec son père, de sorte que la cour cantonale aurait dû retenir un minimum vital de 1'200 fr., non de 600 francs.
La cour cantonale n'a pas omis de prendre en compte les frais de nourriture, retenant à ce titre 600 fr., soit le montant articulé par le recourant. Pour le reste, celui-ci n'établit pas que dormir chez des amis ou au bureau engendrerait effectivement des coûts de logement ou de nourriture supplémentaires.
Le recourant soutient en outre que la cour cantonale aurait omis de prendre en compte les frais d'acquisition du revenu, mentionnés dans sa déclaration d'appel. Résidant de C._, il se rendrait à D._ par ses propres moyens deux fois par semaine. Il conviendrait ainsi de déduire 1'200 fr. à ce titre (400 km aller-retour x 4.3 [21.7 jours/5 semaines] x 0.70 centimes le km).
Il ressort en effet de l'écriture d'appel du recourant que celui-ci a évoqué des frais de déplacement (cf. art. 105 al. 2 LTF, pièces 19/1 et 19/2 du dossier cantonal). Aucun élément n'atteste qu'il supporte véritablement ces charges. Dans ces circonstances, il n'était pas arbitraire de la part de la cour cantonale d'écarter ces frais, faute pour le recourant de les avoir établis.
Enfin, la cour cantonale aurait à tort retenu une charge d'impôts de 500 fr. par mois, alors qu'entre le dépôt de la déclaration d'appel et les débats, le revenu net du recourant aurait augmenté. Aussi aurait-il fallu retenir 1'100 fr. par mois à ce titre (5'500 fr. x 20%).
Il appert toutefois que la cour cantonale a retenu un salaire net de 5'550 fr., contre 5'500 fr. en première instance (cf. art. 105 al. 2 LTF, jugement du Tribunal de police du 4 octobre 2019). Rien ne permet de retenir que le salaire du recourant, respectivement sa charge fiscale auraient réellement augmenté. Dans ces circonstances, il n'était pas insoutenable pour la cour cantonale de retenir une charge fiscale mensuelle de 500 francs.
En conclusion, la cour cantonale n'a pas fait preuve d'arbitraire ni violé l'art. 34 al. 2 CP en fixant à 120 fr. le jour-amende. Infondé, le grief du recourant doit être rejeté.
2.
Le recourant soutient que les conditions du sursis sont réunies.
2.1. Le juge suspend en règle générale l'exécution d'une peine pécuniaire ou d'une peine privative de liberté de deux ans au plus lorsqu'une peine ferme ne paraît pas nécessaire pour détourner l'auteur d'autres crimes ou délits (art. 42 al. 1 CP).
Pour l'octroi du sursis, le juge doit poser un pronostic quant au comportement futur de l'auteur. En l'absence de pronostic défavorable, il doit prononcer le sursis. Celui-ci est ainsi la règle dont le juge ne peut s'écarter qu'en présence d'un pronostic défavorable ou hautement incertain (<ref-ruling> consid. 2.1 p. 186; <ref-ruling> consid. 4.2.2 p. 6; arrêt 6B_301/2020 du 28 avril 2020 consid. 2.1). Pour formuler un pronostic sur l'amendement de l'auteur, le juge doit se livrer à une appréciation d'ensemble, tenant compte des circonstances de l'infraction, des antécédents de l'auteur, de sa réputation et de sa situation personnelle au moment du jugement, notamment de l'état d'esprit qu'il manifeste. Il doit tenir compte de tous les éléments propres à éclairer l'ensemble du caractère du prévenu et ses chances d'amendement. Il ne peut accorder un poids particulier à certains critères et en négliger d'autres qui sont pertinents (<ref-ruling> consid. 2.1 p. 185 s.; <ref-ruling> consid. 4.2.1 p. 5; arrêt 6B_219/2020 du 4 août 2020 consid. 5.1). Dans l'émission du pronostic, le juge dispose d'un large pouvoir d'appréciation, de sorte que le Tribunal fédéral n'intervient qu'en cas d'abus ou d'excès de ce pouvoir (<ref-ruling> consid. 2.2 p. 139; <ref-ruling> consid. 3.1.1 p. 281). Le défaut de prise de conscience de la faute peut justifier un pronostic défavorable, car seul celui qui se repent de son acte mérite la confiance que l'on doit pouvoir accorder au condamné bénéficiant du sursis (arrêts 6B_278/2020 du 7 mai 2020 consid. 3.1; 6B_301/2020 du 28 avril 2020 consid. 2.1).
2.2. La cour cantonale a retenu que le recourant se trouvait en récidive spéciale, vu sa condamnation du 21 juin 2018 pour une incapacité de conduire notamment. En raison de cette infraction, le recourant avait subi un retrait de son permis de conduire pour une durée de trois mois. Pour la cour cantonale, les mesures administratives et les ennuis professionnels liés à cette précédente condamnation n'avaient eu aucun effet sur le recourant, puisqu'il avait récidivé seulement six mois plus tard. Soutenir en audience d'appel que son comportement sur la route était "normal" et que tout le monde conduisait de cette manière permettait de retenir une absence de prise de conscience. Le pronostic était défavorable. La cour cantonale a dès lors refusé l'octroi du sursis.
2.3. Le recourant revendique l'octroi du sursis à l'exécution de la peine pécuniaire, avec un délai d'épreuve de trois ans. Il souligne qu'il n'a qu'un seul antécédent. Celui-ci n'aurait en outre "aucun lien" avec la présente procédure, étant "lié à des problèmes personnels importants (psychiques et physiques) ". Alors dans une situation familiale difficile, il aurait consommé des stupéfiants et commis "cette erreur".
Le recourant relève qu'il n'a qu'un seul antécédent, ce qui ressort bien du jugement entrepris. Au surplus, ses affirmations concernant sa situation personnelle et familiale s'écartent de manière inadmissible des faits retenus par la cour cantonale (cf. art. 105 al. 1 LTF).
Le recourant souligne en outre qu'il ne nie pas les faits du 12 décembre 2018. Il n'aurait jamais soutenu que son comportement était "normal", mais avait effectivement contesté avoir circulé à une distance insuffisante. Aujourd'hui, il aurait toutefois saisi la portée de son erreur.
La cour cantonale n'a pas retenu que le recourant contestait les faits qui lui sont reprochés. Elle a simplement constaté que les mesures administratives et les ennuis professionnels liés à sa précédente condamnation - pour une incapacité de conduire notamment - n'avaient pas eu d'effet, puisqu'il avait récidivé six mois plus tard. Lorsqu'il prétend n'avoir jamais soutenu que son comportement sur la route serait "normal", le recourant ne fait que présenter sa propre appréciation des faits, sans démontrer en quoi celle opérée par la cour cantonale serait arbitraire. Enfin, il affirme, de manière purement appellatoire, et, partant, irrecevable, qu'il a saisi la portée de son erreur.
Pour le reste, le recourant ne soulève pas d'éléments pertinents, sous l'angle de l'examen du pronostic, que la cour cantonale aurait omis de prendre en compte, ni ne prétend qu'il aurait convenu d'accorder davantage de poids à l'un ou l'autre de ceux-ci. En posant un pronostic défavorable fondé sur l'antécédent, la récidive spéciale durant le délai d'épreuve et l'absence de prise de conscience, la cour cantonale n'a pas abusé ni excédé de son large pouvoir d'appréciation en la matière. La cour cantonale n'a donc pas violé le droit fédéral en refusant d'assortir la peine privative de liberté du sursis à l'exécution. Infondé, le grief du recourant est rejeté, dans la mesure de sa recevabilité.
3.
Le recours doit être rejeté dans la mesure où il est recevable. Le recourant, qui succombe, supporte les frais judiciaires (art. 66 al. 1 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 3'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties et à la Cour d'appel pénale du Tribunal cantonal du canton de Vaud.
Lausanne, le 24 septembre 2020
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Rettby