Faits : A. Par jugement du 4 octobre 2019, le Tribunal de police de l'arrondissement de l'Est vaudois a reconnu A._ coupable de violation simple et grave des règles de la circulation routière et l'a condamné, outre aux frais de la procédure, à une peine pécuniaire de 30 jours-amende à 120 fr. le jour, ainsi qu'à une amende de 120 fr., et a renoncé à révoquer le sursis qui lui avait été accordé par le Ministère public de l'arrondissement du Nord vaudois le 21 juin 2018. B. Statuant le 6 février 2020, la Cour d'appel pénale du Tribunal cantonal vaudois a rejeté l'appel formé par A._ contre ce jugement. En substance, la décision cantonale repose sur les faits suivants. B.a. Le 12 décembre 2018 vers 09h00, sur la chaussée montagne de l'autoroute A9, km 54.600-43.500 (Bex-Nord/Villeneuve), à plusieurs reprises depuis la jonction de Bex, A._ a circulé au volant d'un véhicule automobile derrière des voitures qui se trouvaient sur la voie de gauche, sans garder une distance de sécurité suffisante pour circuler en file, laquelle ne lui aurait pas permis de réagir en cas d'événement imprévu. Par ailleurs, il a parfois circulé à une vitesse supérieure à celle autorisée, à savoir 140 km/h au lieu de 120 km/h. B.b. A._, de nationalité suisse, est né en 1993 à B._. Célibataire et sans enfant, il habite à C._ avec son père, son frère et ses deux soeurs. Il oeuvre au sein du Département de la défense de la Confédération suisse depuis 2013, que ce soit lors de périodes de services militaires ou par une activité professionnelle, comme ce fut le cas entre juillet 2016 et décembre 2018 et à nouveau depuis le mois de juin 2019. Depuis cette date, ses revenus mensuels nets s'élèvent à 5'546 fr., versés treize fois l'an. Cet emploi aurait dû prendre fin en novembre 2019, mais son contrat a été prolongé jusqu'au 31 décembre 2020, pour un taux d'occupation à 100%. Il exerce la fonction de commandant de compagnie. A._ verse à son père 600 fr. par mois pour le logement et la nourriture. Il utilise une voiture privée pour se rendre sur sa place de travail, à savoir la caserne de D._. Il indique ne pas bénéficier d'avantage relatif aux transports ou à la nourriture dû à son statut de militaire. Sa prime d'assurance maladie se monte à 179.90 fr. par mois et sa charge fiscale à environ 500 fr. par mois. Selon son casier judiciaire, il a été condamné le 21 juin 2018 par le Ministère public de l'arrondissement du Nord vaudois pour conduite malgré une incapacité de conduire et contravention à la LStup (RS 812.121), à une peine pécuniaire de 60 jours-amende à 50 fr. le jour, assortie du sursis et d'un délai d'épreuve de deux ans, ainsi qu'à une amende de 700 francs. A la suite de cette condamnation, le Service des automobiles et de la navigation a prononcé le 23 novembre 2018 une mesure de retrait de permis pour une durée de trois mois, valable du 3 avril 2018 au 2 juillet 2018. C. A._ forme un recours en matière pénale au Tribunal fédéral contre le jugement précité. Il conclut, avec suite de frais et dépens, à sa réforme, principalement en ce sens qu'il est condamné à une peine pécuniaire de 30 jours-amende à 30 fr. le jour, assortie du sursis et d'un délai d'épreuve de trois ans, subsidiairement à une peine pécuniaire de 30 jours-amende à 30 fr. le jour. Plus subsidiairement, il conclut à l'annulation de la décision attaquée et au renvoi de la cause à l'autorité cantonale pour nouvelle décision dans le sens des considérants.