Faits :
A.
Les époux A._ se sont mariés en 2006 à U._. Trois enfants sont issus de cette union: C._, né en 2008, D._, né en 2011, et E._, née en 2015.
B.
B.a. Le 11 février 2017, l'épouse a déposé une requête de mesures protectrices de l'union conjugale.
B.b. Par décision du 13 décembre 2017, la Présidente du Tribunal régional du Jura bernois-Seeland, Agence du Jura bernois (ci-après: le Tribunal régional) a notamment constaté que le ménage commun des conjoints serait dissous au 1 er janvier 2018, attribué le domicile conjugal au père pendant la durée de la séparation, accordé la garde sur les trois enfants à la mère, instauré une curatelle éducative au sens de l'art. 308 al. 2 CC et condamné le père à verser des contributions d'entretien en faveur des enfants et de l'épouse à compter du 1 er janvier 2018.
B.c. Statuant sur appels des deux conjoints, la 2 e Chambre civile de la Cour suprême du canton de Berne a, par décision du 30 avril 2019, notamment confirmé l'attribution de la garde des enfants à la mère, fixé le droit de visite du père à un week-end sur deux du vendredi soir au dimanche soir, la moitié des jours fériés et tous les vendredis après-midi de 17h à 20h30, à charge pour la mère d'amener les enfants chez le père et pour celui-ci de les ramener ensuite chez elle à la fin du droit de visite. Elle a également condamné le père à payer les contributions d'entretien suivantes, sous déduction des montants déjà versés à ce titre:
-en faveur de C._: 3'225 fr. du 1 er janvier 2018 au 31 juillet 2019, 2'750 fr. du 1 er août 2019 au 31 juillet 2021, 2'000 fr. du 1 er août 2021 au 31 mai 2024 - la contribution de prise en charge pour ces périodes étant respectivement fixée à 1'225 fr., 750 fr. et 225 fr. - et 1'725 fr. à partir du 1 er juin 2024;
-en faveur de D._: 2'575 fr. du 1 er janvier 2018 au 31 juillet 2019, 2'100 fr. du 1er août 2019 au 31 juillet 2021, 1'875 fr. du 1 er août 2021 au 31 mai 2024, 2'000 fr. du 1 er juin 2024 au 31 juillet 2025 - la contribution de prise en charge pour ces périodes étant respectivement fixée à 1'225 fr., 750 fr., 225 fr. et 325 fr. -, 1'650 fr. du 1 er août 2025 au 30 septembre 2027 et 1'725 fr. à partir du 1 er octobre 2027;
-en faveur de E._: 2'250 fr. du 1 er janvier 2018 au 31 juillet 2019, 2'075 fr. du 1 er août 2019 au 31 juillet 2021, 1'525 fr. du 1 er août 2021 au 31 mai 2024, 1'650 fr. du 1 er juin 2024 au 31 juillet 2025 - la contribution de prise en charge pour ces périodes étant respectivement fixée à 1'225 fr., 750 fr., 225 fr. et 325 fr. -, 1'625 fr. du 1 er août 2025 au 28 février 2031 et 1'725 fr. à partir du 1 er mars 2031.
La pension en faveur de l'épouse a été fixée à 1'070 fr. par mois du 1 er janvier 2018 au 31 janvier 2031.
C.
Par acte du 3 juin 2019, le père exerce un recours en matière civile au Tribunal fédéral. Il conclut principalement à ce qu'une garde alternée sur les trois enfants soit instaurée, à ce que les " contributions de priseen charge totales " soient réduites de 2'000 fr. dès le 1er septembre 2018 et de 3'000 fr. dès le 1er septembre 2019, à répartir sur les trois enfants, et à ce qu'il ne soit pas alloué de contribution d'entretien en faveur de l'épouse. Subsidiairement, il conclut à l'annulation de la décision querellée et au renvoi de la cause au premier juge, plus subsidiairement à l'autorité précédente, pour nouvelle décision dans le sens des considérants.
Des observations n'ont pas été requises.

Considérant en droit :
1.
Déposé en temps utile (art. 100 al. 1 LTF) et dans la forme légale (art. 42 al. 1 LTF), le recours est dirigé contre une décision finale (art. 90 LTF; <ref-ruling> consid. 4) rendue sur recours par une autorité supérieure statuant en dernière instance cantonale (art. 75 LTF), dans une affaire matrimoniale (art. 72 al. 1 LTF) de nature non pécuniaire dans son ensemble (arrêts 5A_26/2019 du 6 juin 2019 consid. 1; 5A_1000/2018 du 3 mai 2019 consid. 1). Le recourant a participé à la procédure devant l'autorité précédente et a un intérêt digne de protection à la modification ou l'annulation de la décision entreprise (art. 76 al. 1 let. a et b LTF). Le recours est donc en principe recevable.
2.
2.1. Comme la décision attaquée porte sur des mesures provisionnelles au sens de l'art. 98 LTF (<ref-ruling> consid. 1.1; <ref-ruling> consid. 5, 585 consid. 3.3), la partie recourante ne peut dénoncer que la violation de droits constitutionnels. Le Tribunal fédéral n'examine de tels griefs que s'ils ont été invoqués et motivés par le recourant (" principe d'allégation "; art. 106 al. 2 LTF), c'est-à-dire s'ils ont été expressément soulevés et exposés de manière claire et détaillée (<ref-ruling> consid. 2.1; <ref-ruling> consid. 2.4). Le recourant ne peut se borner à critiquer la décision attaquée comme il le ferait en procédure d'appel, où l'autorité de recours jouit d'une libre cognition, notamment en se contentant d'opposer sa thèse à celle de l'autorité précédente; les critiques de nature appellatoire sont irrecevables (ATF <ref-ruling> consid. 2.4 et la référence).
En particulier, une décision ne peut être qualifiée d'arbitraire (art. 9 Cst.) que si elle est manifestement insoutenable, méconnaît gravement une norme ou un principe juridique clair et indiscuté, ou heurte de manière choquante le sentiment de la justice et de l'équité (<ref-ruling> consid. 7.3; <ref-ruling> consid. 4.1); il ne suffit pas qu'une autre solution paraisse concevable, voire préférable; pour que cette décision soit annulée, encore faut-il qu'elle se révèle arbitraire non seulement dans ses motifs, mais aussi dans son résultat (<ref-ruling> consid. 7.1, 170 consid. 7.3; <ref-ruling> consid. 4.3).
2.2. Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF). Le recourant qui entend invoquer que les faits ont été établis de manière manifestement inexacte ne peut obtenir la rectification ou le complètement des constatations de fait de l'arrêt cantonal que s'il démontre la violation de droits constitutionnels, conformément au principe d'allégation susmentionné (cf. supra consid. 2.1). En matière d'appréciation des preuves et d'établissement des faits, il n'y a arbitraire que lorsque l'autorité ne prend pas en compte, sans raison sérieuse, un élément de preuve propre à modifier la décision, lorsqu'elle se trompe manifestement sur son sens et sa portée, ou encore lorsque, en se fondant sur les éléments recueillis, elle en tire des constatations insoutenables (<ref-ruling> consid. 1.1 et la référence). Le recourant ne peut pas se borner à contredire les constatations litigieuses par ses propres allégations ou par l'exposé de sa propre appréciation des preuves; il doit indiquer de façon précise en quoi ces constatations sont arbitraires au sens de l'art. 9 Cst. (<ref-ruling> consid. 1.4.3). Une critique des faits qui ne satisfait pas à cette exigence est irrecevable (<ref-ruling> consid. 1.3.1; <ref-ruling> consid. 2.3 et les références).
2.3. Conformément à l'art. 42 al. 1 LTF, le recours doit contenir des conclusions. Lorsque celles-ci portent sur une somme d'argent, elles doivent être chiffrées (<ref-ruling> consid. 1.2 et la référence); la jurisprudence ne déroge à cette exigence que si le montant en jeu est d'emblée reconnaissable au regard de la motivation du recours ou de la décision entreprise (<ref-ruling> consid. 2 et les références; arrêts 5A_931/2017 du 1er novembre 2018 consid. 1.4; 2C_101/2016 du 18 mai 2018 consid. 16.1 non publié in <ref-ruling>).
En l'espèce, le recourant n'indique pas à quels montants il souhaite voir fixées les contributions d'entretien en faveur de ses enfants, mais se contente de conclure à ce que " les contributions de prise en charge totales [soient] réduites de CHF 2'000 fr. [...] dès le 1 er septembre 2018 et de 3'000 fr. dès le 1 er septembre 2019, à répartir sur les trois enfants ". Compte tenu des pensions auxquelles le recourant a été condamné (cf. supra let. B.c), la conclusion prise par le père contraindrait la Cour de céans à effectuer elle-même les calculs pour les diverses périodes que la cour cantonale a distinguées. Les montants en jeu n'apparaissent donc pas d'emblée reconnaissables, ce qui conduit à l'irrecevabilité de la conclusion en cause.
3.
Le recourant reproche à la cour cantonale d'avoir établi les faits de manière manifestement inexacte, appliqué arbitrairement les art. 176 al. 3 et 298 al. 2bis et 2ter CC et violé l'art. 8 CEDH en refusant d'instaurer une garde alternée sur ses trois enfants.
3.1. En tant que le recourant fait valoir une violation de l'art. 8 CEDH, son grief est d'emblée irrecevable faute de répondre aux exigences de l'art. 106 al. 2 LTF. Le Tribunal fédéral n'est en effet tenu d'examiner le moyen tiré de la violation de cette norme que si le grief a été invoqué et motivé de manière claire et détaillée (cf. supra consid. 2.1; arrêt 5A_191/2018 du 7 août 2018 consid. 6.2.1). Or, le recourant n'explique pas, même succinctement, en quoi cette disposition aurait, dans le présent contexte, une portée propre par rapport au droit fédéral topique dont il soulève également la violation.
3.2. Bien que l'autorité parentale conjointe soit désormais la règle (art. 296 al. 2 CC; <ref-ruling> consid. 3.3, 56 consid. 3) et qu'elle comprenne le droit de déterminer le lieu de résidence de l'enfant (art. 301a al. 1 CC), elle n'implique pas nécessairement l'instauration d'une garde alternée (<ref-ruling> consid. 4.2, 617 consid. 3.2.3; arrêt 5A_260/2019 du 5 novembre 2019 consid. 3.1 et les références). Le juge doit néanmoins examiner, nonobstant et indépendamment de l'accord des parents quant à une garde alternée, si celle-ci est possible et compatible avec le bien de l'enfant (<ref-ruling> consid. 4.2, 617 consid. 3.2.3). En matière d'attribution des droits parentaux, le bien de l'enfant constitue la règle fondamentale, les intérêts des parents devant être relégués au second plan (<ref-ruling> consid. 3.2.3 et les références; arrêts 5A_260/2019 précité consid. 3.1; 5A_771/2018 du 28 mars 2019 consid. 5.2.2). Le juge doit évaluer, sur la base de la situation de fait actuelle ainsi que de celle qui prévalait avant la séparation des parties, si l'instauration d'une garde alternée est effectivement à même de préserver le bien de l'enfant. A cette fin, il doit en premier lieu examiner si chacun des parents dispose de capacités éducatives et s'il existe une bonne capacité et volonté de ceux-ci de communiquer et coopérer, compte tenu des mesures organisationnelles et de la transmission régulière d'informations que nécessite ce mode de garde. A cet égard, on ne saurait déduire une incapacité à coopérer entre les parents du seul refus d'instaurer la garde alternée. En revanche, un conflit marqué et persistant entre les parents portant sur des questions liées à l'enfant laisse présager des difficultés futures de collaboration et aura en principe pour conséquence d'exposer de manière récurrente l'enfant à une situation conflictuelle, ce qui pourrait apparaître contraire à son intérêt (<ref-ruling> consid. 3.2.3; arrêts 5A_260/2019 précité consid. 3.1; 5A_837/2017 du 27 février 2018 consid. 3.2.2). Si les parents disposent tous deux de capacités éducatives, le juge doit dans un deuxième temps évaluer les autres critères d'appréciation pertinents pour l'attribution de la garde. Au nombre des critères essentiels pour cet examen, entrent en ligne de compte la situation géographique et la distance séparant les logements des deux parents, la capacité et la volonté de chaque parent de favoriser les contacts entre l'autre parent et l'enfant, la stabilité que peut apporter à l'enfant le maintien de la situation antérieure - en ce sens notamment qu'une garde alternée sera instaurée plus facilement lorsque les deux parents s'occupaient de l'enfant en alternance déjà avant la séparation -, la possibilité pour chaque parent de s'occuper personnellement de l'enfant, l'âge de celui-ci et son appartenance à une fratrie ou à un cercle social ainsi que le souhait de l'enfant s'agissant de sa propre prise en charge, quand bien même il ne disposerait pas de la capacité de discernement à cet égard. Les critères d'appréciation précités sont interdépendants et leur importance varie en fonction du cas d'espèce (<ref-ruling> consid. 3.2.3; arrêts 5A_260/2019 précité consid. 3.1; 5A_888/2016 du 20 avril 2018 consid. 3.2.1).
Pour apprécier ces critères, le juge du fait, qui connaît le mieux les parties et le milieu dans lequel vit l'enfant, dispose d'un large pouvoir d'appréciation (<ref-ruling> consid. 3.2.5 et les références; arrêt 5A_260/2019 précité consid. 3.1 et les références). Le Tribunal fédéral n'intervient que s'il s'est écarté sans motif des principes établis par la doctrine et la jurisprudence, lorsqu'il s'est fondé sur des faits qui ne devaient jouer aucun rôle pour la solution du cas d'espèce, ou lorsque, au contraire, il n'a pas tenu compte de circonstances qui auraient impérativement dû être prises en considération (<ref-ruling> consid. 3.2.5 et la référence; arrêt 5A_153/2019 du 3 septembre 2019 consid. 3.3).
3.3. Le recourant se plaint de ce que la cour cantonale aurait arbitrairement considéré que c'était la mère qui s'était jusque-là essentiellement occupée des enfants et était leur personne de référence.
3.3.1. La juridiction précédente a retenu que si le père avait certes fait des trajets avec deux de ses enfants lorsqu'ils étaient à la crèche de l'hôpital et s'était probablement occupé d'eux lors d'activités de l'intimée, il ressortait du dossier que c'était la mère qui s'occupait des enfants dans une large mesure, eu égard notamment au fait que le père était employé à 100% alors que la mère travaillait à un taux réduit, et que c'était elle qui était leur personne de référence. L'autorité cantonale a également constaté que depuis la séparation effective, le père avait reçu ses enfants tous les vendredis après-midi de midi à 19h. Ils restaient par ailleurs chez lui un week-end sur deux.
3.3.2. Selon le recourant, les dernières années précédant la séparation ne seraient pas représentatives du partage des tâches entre époux, seul devant être pris en compte l'accord implicite entre les conjoints valant avant août 2016 (moment où l'épouse a communiqué son souhait de divorcer), mais surtout avant que l'intimée ne décide abruptement de mettre un terme à son activité auprès de F._ en 2014. En effet, avant la naissance des enfants, puis entre 2008 et 2014, celle-ci avait toujours travaillé, respectivement étudié, au minimum à 66%. Son activité actuelle auprès de la société G._ Sàrl demanderait également beaucoup de temps à l'intimée, bien qu'elle n'en dégage que des revenus insignifiants. Le recourant souligne qu'il s'est toujours beaucoup occupé des enfants, notamment en assumant les voyages entre le domicile et la crèche, ainsi que pendant les vacances et, au cours du premier semestre 2018, les vendredis. La décision entreprise procéderait ainsi d'une " mauvaise appréciation du passé ", aboutissant à un résultat d'autant plus choquant que le fait de retenir la prise en charge exclusive par la mère serait contraire à l'intérêt des enfants et empêcherait un partage équilibré des responsabilités familiales.
3.3.3. En l'espèce, en tant que le recourant retrace le parcours professionnel de l'intimée afin de démontrer qu'elle aurait travaillé à un taux d'au moins 66% jusqu'en 2014, sa critique est appellatoire, partant irrecevable (cf. supra consid. 2.2). Il en va de même de son affirmation péremptoire selon laquelle le travail actuel de l'épouse auprès de G._ Sàrl lui prendrait beaucoup de temps, la cour cantonale ayant constaté que cette activité occupait l'intimée à environ 20%. Dans ces circonstances, il n'apparaît nullement arbitraire d'avoir considéré qu'au vu notamment des taux d'activité respectifs des parents, c'était la mère qui s'occupait dans une large mesure des enfants, étant au surplus précisé qu'il est conforme à la jurisprudence (cf. supra consid. 3.2) d'avoir tenu compte de la situation de fait qui prévaut à tout le moins depuis 2016. Le fait que le père ait conduit ses enfants à la crèche et s'en occupe pendant les vacances et les vendredis - ce dont la juridiction a d'ailleurs tenu compte - n'est pas de nature à remettre en cause cette conclusion.
La critique est donc infondée dans la mesure de sa recevabilité.
3.4. Le recourant fait également valoir que le domicile à V._ est la maison d'enfance des trois enfants, où ceux-ci ont leurs amis, et que c'est le déménagement des enfants à W._ qui représenterait un facteur d'instabilité pour eux. Partant, on ne discernerait pas en quoi la stabilité du cadre socio-éducatif serait touchée d'une quelconque manière par la garde alternée.
Par sa critique, le recourant se borne à présenter sa propre appréciation du critère litigieux, estimant qu'il conviendrait de lui donner plus de poids que ce que la cour cantonale lui a accordé. Faute de satisfaire aux exigences de motivation susmentionnées (cf. supra consid. 2.1), le grief est irrecevable.
3.5.
3.5.1. Le recourant soutient par ailleurs que la décision querellée serait incompatible avec la jurisprudence en tant qu'elle retient que E._, âgée de 3 ans, requerrait encore en grande partie sa mère qui s'est toujours occupée d'elle. Cela aurait pour résultat choquant de créer un statut particulier pour la benjamine, empêchant ainsi les trois enfants d'avoir une relation plus égale avec chacun des parents. Soulignant qu'il n'existe pas de limite inférieure d'âge à l'instauration d'une garde alternée, le recourant soutient que la décision entreprise serait également arbitraire du fait de l'entrée à l'école de E._ en août 2019.
3.5.2. En l'espèce, le fait d'avoir considéré que la benjamine, née en 2015, avait encore en grande partie besoin de sa mère (sur le fait que celle-ci est la personne de référence des enfants, cf. supra consid. 3.3.3) n'apparaît pas arbitraire (cf. arrêt 5A_382/2019 du 9 décembre 2019 consid. 4.2.1). Par ailleurs, la cour cantonale n'a pas uniquement tenu compte de l'âge de E._ mais a retenu que l'âge desenfants ne plaidait pas en faveur d'une garde alternée, notamment au vu des déplacements qu'elle impliquait. Or, le recourant n'explique pas en quoi le fait d'avoir pris en considération l'âge des deux aînés serait en l'espèce arbitraire, de sorte que sa critique est insuffisamment motivée sur ce point. Pour le surplus, le recourant se réfère à des arrêts relatifs à l'imputation d'un revenu hypothétique au parent gardien, de sorte que l'on peut, à cet égard, renvoyer aux considérations qui suivent sur cette question (cf. infra consid. 5.3).
3.6. Le recourant reproche également à la cour cantonale d'avoir omis de prendre en compte " de manière sérieuse " le désir des enfants d'entretenir la relation la plus égale possible avec leurs deux parents.
3.6.1. La cour cantonale a constaté que, selon le rapport du 18 mai 2017 établi par le Service social de V._, C._ avait été assez catégorique en disant qu' " ils iraient en garde partagée " une semaine sur deux chez leurs parents mais qu'il aimerait rester à V._ car il y avait ses copains. Selon le rapport d'enquête sociale du 13 août 2018, il n'avait toutefois pas confirmé souhaiter une garde partagée. Il ressortait en outre du rapport du curateur du 28 juillet 2018 que les enfants avaient du plaisir à se rendre chez leur père et à faire des activités avec lui, étant précisé que ce retour provenait plutôt de C._, car E._ était encore très jeune et D._ s'exprimait avec réticence.
3.6.2. Par sa critique, le recourant se contente d'opposer sa pondération des éléments contenus dans les divers rapports à celle effectuée par la juridiction précédente, étant précisé que l'affirmation péremptoire selon laquelle C._ se trouverait actuellement dans un conflit de loyauté l'empêchant d'exprimer librement son avis ne repose sur aucun élément de la décision querellée (art. 105 al. 1 LTF; cf. supra consid. 2.2). Par ailleurs, on ne discerne pas en quoi la carte de Noël de C._, dans laquelle l'enfant indique uniquement qu'il viendrait volontiers seul chez son père tous les mercredis ou certains d'entre eux, serait susceptible de démontrer le caractère arbitraire de la décision querellée (cf. supra consid. 2.1), étant relevé que la cour cantonale a retenu que l'enfant avait du plaisir à se rendre chez son père et à faire des activités avec lui.
3.7. Le recourant reproche également à la juridiction précédente d'avoir considéré que ses disponibilités n'étaient pas suffisantes pour l'instauration d'une garde alternée.
3.7.1. La cour cantonale a constaté que le taux d'activité de la mère dans le domaine équestre était d'environ 20%. Quant au père, il travaillait à 100% comme médecin-chef du service X._ de l'hôpital Z._. Il alléguait être flexible dans ses horaires avec toutefois certains impératifs. Les lundis et mardis, il était au bloc opératoire de 7h30 à 16h. Les mercredis et jeudis, il terminait ses consultations vers 16h et restait jusque vers 17h pour régler les problèmes administratifs. Un vendredi sur deux, il avait des consultations entre 8h30 et 12h et l'autre, il avait congé toute la journée. Il était également de garde une semaine d'affilée par mois. Si une garde partagée était mise en place, le père serait contraint d'engager une personne pour s'occuper de ses enfants lorsqu'il est à l'hôpital (C._ ayant congé le mercredi après-midi et terminant l'école à 15h15 le jeudi et à 16h10 le vendredi, D._ ayant quant à lui congé le mercredi, jeudi et vendredi après-midi), alors que la mère avait la possibilité de s'occuper personnellement des enfants.
3.7.2. Le recourant reproche à la cour cantonale de n'avoir " absolument pas pris en compte " son engagement constant et conséquent pour la prise en charge de ses enfants, alors qu'il aurait largement démontré sa volonté de s'en occuper et le fait de disposer des moyens et des conditions pour ce faire. Sa demande de les avoir dès le mercredi soir apparaîtrait donc " totalement réaliste " et conforme à leur bien. Les programmes des enfants en deuxième partie de semaine seraient absolument compatibles avec une prise en charge de sa part le matin et en fin de journée le jeudi et toute la journée le vendredi. Une organisation relativement élémentaire, le cas échéant avec l'aide limitée d'une tierce personne, permettrait sans difficulté une prise en charge personnelle qui ne serait pas moindre que celle de la mère les jeudis et vendredis. Le recourant souligne que ce qui est déterminant est la " réorganisation future " de la vie familiale, par exemple pour permettre au parent employé à temps complet qui souhaite participer à la prise en charge de l'enfant de réduire son taux d'activité. Enfin, la cour cantonale aurait retenu pour seul critère négatif celui d'un prétendu manque de disponibilité, constatant que les autres critères usuels étaient en faveur de ce mode de garde. Or, d'une part, il serait impossible de donner à ce critère une " importance assez névralgique qui renverserait l'ensemble écrasant et manifestement prédominant des nombreux [autres] critères " et, d'autre part, la capacité de s'occuper personnellement de l'enfant ne serait pas un critère pertinent dès lors que, selon la jurisprudence fédérale, les modes de prise en charge de l'enfant par le parent lui-même ou par un tiers sont équivalents. La pondération des critères effectuée par la cour cantonale serait ainsi insoutenable et serait le " reflet d'une tentative vaine et maladroite d'une pratique judiciaire hors d'âge et d'un autre siècle ".
3.7.3. Contrairement à ce que soutient le père, la capacité des parents de s'occuper personnellement de l'enfant est un critère pertinent pour l'attribution de la garde (cf. supra consid. 3.2). Par ailleurs, le recourant ne critique pas de manière claire et détaillée (cf. supra consid. 2.2) les constatations de la cour cantonale relatives à ses propres horaires et à ceux de ses enfants. Le recourant affirme qu'il faudrait tenir compte d'une " réorganisation future ", mais n'explique nullement en quoi celle-ci changerait ses horaires et admet d'ailleurs lui-même qu'il lui faudra le cas échéant recourir à l'aide " limitée " d'une tierce personne. Le recourant ne peut pas non plus être suivi lorsqu'il soutient que la cour cantonale aurait accordé un poids excessif au critère de la disponibilité et que celui-ci serait le seul en défaveur de l'instauration d'une garde alternée. En effet, la juridiction précédente a estimé non seulement que la disponibilité du père n'était actuellement pas suffisante, mais aussi que l'attribution de la garde à la mère s'imposait s'agissant de mesures protectrices de l'union conjugale et en vertu de la stabilité du cadre socio-éducatif et de la répartition des tâches convenue entre les parties avant la séparation, à savoir que la mère s'occupait principalement des enfants alors que le père travaillait (cf. supra consid. 3.3). Elle a également retenu que cette solution s'imposait d'autant plus compte tenu de l'âge des enfants (cf. supra consid. 3.5). Même si elle a jugé que ces deux éléments n'auraient été à eux seuls pas des obstacles à l'instauration d'une garde alternée, la cour cantonale a également relevé que celle-ci impliquerait de nombreux déplacements - la durée de trajet entre les deux domiciles des parents étant à la limite de ce qui était praticable au vu de l'âge des enfants - et que même si les tensions entre les parties s'étaient quelque peu apaisées depuis leur séparation effective, la communication entre eux était limitée au strict minimum. Contrairement à ce que soutient le recourant, la cour cantonale ne s'est donc pas uniquement fondée sur le critère de la disponibilité pour refuser l'instauration d'une garde alternée.
Au vu de ce qui précède, le grief du recourant doit être rejeté dans la mesure de sa recevabilité.
4.
4.1. Le recourant soulève également un grief d'application arbitraire de l'art. 176 al. 3 ainsi que de l'art. 298 al. 2 biset al. 2 ter CC en lien avec la fixation de son droit de visite. Bien qu'il ne prenne pas de conclusions formelles à cet égard (cf. art. 42 al. 1 LTF), on comprend, à la lecture de son écriture (cf. <ref-ruling> consid. 6.2 et les références; <ref-ruling> consid. 1), qu'il conteste que l'extension de son droit de visite soit fixée aux vendredis après-midi de 17h à 20h30 - ce qui reviendrait à " balloter les enfants entre le domicile de chaque parent de manière illogique et déstructurante " - mais préférerait un " tel créneau de temps de visite " le mercredi et le jeudi, ce qui permettrait " une meilleure répartition du temps entre les parents durant la semaine " et " permettrait de prévenir toute aggravation de l'effet de soustraction psycho[-]affective qu'implique inévitablement une séparation des enfants de leur père le vendredi soir, moment auquel commence à peine la plage de temps durant laquelle la disponibilité des parents (et des enfants) est par principe optimale ".
En l'espèce, le recourant se contente de proposer la solution qu'il juge préférable, ce qui n'est pas de nature à démontrer l'arbitraire de la décision querellée (cf. supra consid. 2.1). Par ailleurs, s'agissant du droit de visite prévu le vendredi, il y a lieu de relever que ce sont les parties elles-mêmes qui ont élargi le droit de visite fixé en première instance aux vendredis après-midi et que la juridiction précédente n'a fait que formaliser cette situation.
4.2. Le recourant reproche également à la cour cantonale de ne pas avoir tiré les conséquences du fait que c'est la mère qui a déménagé à W._ et prévu que tous les transports liés au droit de visite soient effectués par celle-ci. Il indique toutefois que ce point ne fait pas " formellement l'objet d'une conclusion expresse mais est souligné aux fins de mettre en évidence une caractéristique choquante supplémentaire de la décision entreprise ". Dès lors qu'il renonce à prendre une conclusion dans ce sens (cf. art. 42 al. 1 LTF) et que sa critique est quoi qu'il en soit insuffisamment motivée (art. 106 al. 2 LTF; cf. supra consid. 2.1), le grief est irrecevable.
5.
Le recourant reproche ensuite à la cour cantonale d'avoir alloué une pension à l'intimée.
5.1. Le recourant fait tout d'abord grief à la cour cantonale d'avoir arbitrairement omis de constater que l'épouse était demeurée autonome financièrement et avait toujours couvert ses propres besoins.
5.1.1. La juridiction précédente a retenu que l'intimée effectuait sa formation lors de la naissance de ses deux premiers enfants et avait ensuite repris une activité lucrative à la fin de celle-ci. Elle avait toutefois travaillé à un taux réduit. La création de sa société G._ Sàrl correspondait à peu près à la naissance de son troisième enfant et au moment à partir duquel elle n'avait plus touché de salaire. Le recourant avait reconnu implicitement que l'intimée était en charge des tâches ménagères en se plaignant qu'elle était totalement dépassée par celles-ci. Par ailleurs, il ne ressortait d'aucune pièce du dossier que l'épouse payait les primes de son assurance-maladie et celles de ses enfants ainsi que ses frais de voiture et qu'elle participait au loyer, aux impôts et au pilier 3a.
5.1.2. Le recourant soutient en substance que le " jalon temporel décisif " pour déterminer le train de vie antérieur et l'accord entre les conjoints serait le mois d'août 2016 (date à laquelle l'épouse lui a demandé de quitter le domicile conjugal) et non le 1 er janvier 2018 (date de la séparation effective), que l'épouse, alors même qu'elle travaillait à 100%, aurait mis fin abruptement et sans motif à son activité professionnelle en 2014 et qu'elle aurait ensuite financé son train de vie les trois années suivantes par ses réserves financières, qu'aucune convention n'aurait donc existé quant à une répartition " classique " des rôles au sein du couple, le dernier accord sur le financement du ménage remontant à 2014 lorsque chaque époux couvrait ses charges avec son salaire, que son souhait de prendre sa retraite à 58 ans et la grande différence d'âge entre les époux corroboreraient l'existence d'un accord sur leur autonomie financière. Par cette critique, le recourant se contente d'opposer, de manière appellatoire (cf. supra consid. 2.1 et 2.2), sa propre appréciation à celle de la cour cantonale. Il en va de même lorsqu'il reproche à la juridiction précédente d'avoir totalement fait abstraction du fait que l'intimée, titulaire de comptes bancaires séparés, payait certaines charges elle-même, la cour cantonale ayant retenu qu'aucune pièce au dossier n'établissait ces éléments. Enfin, la juridiction précédente a fixé le dies a quo de la contribution d'entretien au 1er janvier 2018 en retenant qu'aucun élément au dossier ne démontrait qu'avant cette date, les dépenses usuelles du ménage avaient été acquittées par les époux autrement que selon le mode habituel. En d'autres termes, la cour cantonale a considéré que, même si l'épouse avait demandé à l'époux de quitter le domicile conjugal à partir du mois d'août 2016, les conjoints n'avaient pas changé leurs habitudes quant au paiement des charges du ménage avant le 1 er janvier 2018 et que cette date était donc déterminante, ce que le recourant ne critique pas de manière conforme aux exigences de l'art. 106 al. 2 LTF (cf. supra consid. 2.1).
Au vu de ce qui précède, la critique, insuffisamment motivée, est irrecevable.
5.2. Le recourant fait également grief à la juridiction précédente d'avoir violé son droit d'être entendu et le principe de l'interdiction de l'arbitraire en refusant d'imputer à l'intimée un revenu hypothétique non inférieur à 2'400 fr. du 1 er janvier au 31 août 2018, à 3'000 fr. du 1 er septembre 2018 au 31 juillet 2019 et à 4'000 fr. dès le 1 er août 2019.
5.2.1. La cour cantonale a retenu que l'intimée travaillait à un taux réduit et que la création de la société G._ Sàrl correspondait à peu près à la naissance de son troisième enfant et au moment à partir duquel elle n'avait plus touché de salaire. On ne pouvait dès lors attendre d'elle, tant que la benjamine n'aurait pas atteint l'âge de l'école obligatoire, à savoir l'âge de 4 ans, qu'elle reprenne une activité autre que celle qu'elle effectuait actuellement, pour laquelle elle estimait pouvoir retirer un salaire mensuel net de 1'000 fr. Dès que l'enfant aurait atteint l'âge d'entrer à l'école obligatoire, soit à partir du 1er août 2019, l'intimée, âgée de 45 ans, ayant trois enfants à charge et dans la mesure où les revenus de l'époux étaient confortables, serait en mesure de réaliser un revenu mensuel net de l'ordre de 2'400 fr. à 30%. Ce taux d'activité apparaissait exigible de la part de l'épouse à partir de cette date dans la mesure où elle avait déjà une activité qui lui rapportait un revenu, où les trois enfants iraient à l'école de sorte que cela lui dégagerait du temps libre et où le père s'occupait des enfants les vendredis après-midi. Il était dès lors envisageable d'exiger d'elle qu'elle exerce une activité lucrative durant un jour et demi par semaine et qu'elle optimise ses capacités de gain. A compter du moment où la benjamine serait âgée de 6 ans, soit dès le 1 er août 2021, elle serait en mesure de réaliser un revenu mensuel net de l'ordre de 4'000 fr. à 50%. Dès que E._ aurait atteint l'âge de 10 ans, le 1 er août 2025, l'intimée pourrait réaliser un revenu mensuel net de 6'400 fr. à 80%, puis de 8'000 fr. à 100% dès que E._ aurait 16 ans révolus, soit à partir du 1 er mars 2031.
5.2.2. Selon le recourant, aucun motif ne justifierait de déroger en l'espèce à la jurisprudence selon laquelle on peut attendre du parent gardien qu'il recommence à travailler à 50% dès l'entrée de l'enfant à l'école obligatoire, à 80% à partir du moment où celui-ci débute le degré secondaire et à 100% dès qu'il a atteint l'âge de 16 ans révolus. La juridiction précédente n'aurait d'ailleurs avancé aucun motif pour déroger au " principe d'autonomisation " et les enfants ne présenteraient que des besoins usuels. Outre le fait que cela serait contraire à l'accord implicite des conjoints selon lequel l'intimée devait évoluer en pleine autonomie financière, le revenu de 1'000 fr. qui lui a été imputé correspondrait à un taux d'activité de 12.5%, soit un taux "excessivement marginal ". Il résulterait de la jurisprudence fédérale que la cour cantonale aurait même dû retenir un taux d'activité à 66%, voire à 100% en prenant en considération la période où l'intimée travaillait chez F._. Par ailleurs, la cour cantonale n'expliquerait nullement pourquoi elle retiendrait un taux d'activité de 30% seulement dès le moment où l'enfant atteindra l'âge d'entrer à l'école obligatoire et non de 50% comme prescrit par le Tribunal fédéral. En l'absence de circonstances particulières justifiant cette exception, le fait de retarder le seuil de 50% de 4 à 6 ans serait totalement arbitraire. Ce défaut de motivation serait également constitutif d'une violation du droit d'obtenir une décision motivée (art. 29 al. 2 Cst., 6 § 1 CEDH et 14 ch. 1 du Pacte ONU II).
5.2.3.
5.2.3.1. Autant qu'ils sont suffisamment motivés (cf. supra consid. 2.1), les griefs de violation des art. 6 § 1 CEDH et 14 ch. 1 du Pacte ONU II n'ont en l'espèce pas de portée propre, de sorte que l'on peut se limiter à examiner la critique sous l'angle de l'art. 29 al. 2 Cst.
5.2.3.2. L'obligation de motiver, telle qu'elle découle du droit d'être entendu (art. 29 al. 2 Cst.), est respectée lorsque le juge mentionne, au moins brièvement, les motifs qui l'ont guidé et sur lesquels il a fondé sa décision, de manière à ce que l'intéressé puisse se rendre compte de la portée de celle-ci et l'attaquer en connaissance de cause (<ref-ruling> consid. 5.2; <ref-ruling> consid. 2.1; <ref-ruling> consid. 4.3.2 et les références). L'autorité n'a pas l'obligation d'exposer et de discuter tous les faits, moyens de preuve et griefs invoqués par les parties, mais elle peut au contraire se limiter à ceux qui lui paraissent pertinents (<ref-ruling> consid. 5.2; <ref-ruling> consid. 1.3.1). La motivation peut être implicite et résulter des différents considérants de la décision (<ref-ruling> consid. 3.2.1).
5.2.3.3. En l'espèce, la cour cantonale a estimé que l'on pouvait attendre de l'épouse qu'elle travaille à un taux de 30% jusqu'au 1 er août 2021 en se fondant sur le fait qu'âgée de 45 ans en 2019, elle avait trois enfants à charge et que les revenus de l'époux étaient confortables. Cette motivation apparaît suffisante au regard des principes susmentionnés (cf. supra consid. 5.2.3.2), de sorte que le grief doit être rejeté.
5.3.
5.3.1. La jurisprudence jusqu'ici bien établie du Tribunal fédéral prévoyait qu'il ne pouvait en principe être exigé d'un époux la prise ou la reprise d'une activité lucrative à un taux de 50 % avant que le plus jeune des enfants dont il avait la garde eût atteint l'âge de 10 ans révolus et de 100 % avant qu'il eût atteint l'âge de 16 ans révolus (<ref-ruling> consid. 4.2.2.2 et la référence). Le Tribunal fédéral s'est cependant récemment écarté de cette règle. Il a ainsi jugé que l'on est désormais en droit d'attendre du parent se consacrant à la prise en charge des enfants qu'il recommence à travailler, en principe, à 50 % dès l'entrée du plus jeune enfant à l'école obligatoire, à 80 % à partir du moment où celui-ci débute le degré secondaire, et à 100 % dès la fin de sa seizième année (<ref-ruling> consid. 4.7.6; arrêts 5A_329/2019 du 25 octobre 2019 consid. 3.3.1.2; 5A_963/2018 du 23 mai 2019 consid. 3.3.2; 5A_743/2017 du 22 mai 2019 consid. 5.3.2).
Comme jusqu'à présent, ces lignes directrices ne sont toutefois pas des règles strictes et leur application dépend du cas concret; le juge du fait en tient compte dans l'exercice de son large pouvoir d'appréciation (art. 4 CC; <ref-ruling>consid. 4.7.9; arrêt 5A_329/2019 précité consid. 3.3.1.2; 5A_931/2017 du 1 er novembre 2018 consid. 3.1.2). De plus, si les parents faisaient ménage commun, il convient de se fonder sur l'organisation familiale qui prévalait avant la séparation, étant toutefois précisé que le modèle de répartition des tâches antérieurement suivi ne peut être perpétué indéfiniment (<ref-ruling> consid. 4.5-4.6; arrêt 5A_931/2017 précité consid. 3.1.2). Il convient d'accorder au parent gardien - selon le degré de reprise ou d'étendue de l'activité lucrative, de la marge de manoeuvre financière des parents et d'autres circonstances - un délai qui, dans la mesure du possible, devrait être généreux (<ref-ruling> consid. 4.6; arrêts 5A_830/2018 du 21 mai 2019 consid. 3.3.2; 5A_875/2017 du 6 novembre 2018 consid. 4.2.3; 5A_931/2017 précité consid. 3.2.2).
5.3.2. En l'espèce, le recourant n'a pas valablement remis en cause (cf. supra consid. 3.3.3) la constatation de la cour cantonale selon laquelle l'épouse travaille à un taux de 20%. La juridiction précédente n'a donc nullement versé dans l'arbitraire en se fondant sur l'organisation antérieure de la famille et en n'exigeant pas de l'intimée qu'elle reprenne une activité autre que celle qu'elle effectuait déjà tant que la benjamine n'aurait pas atteint l'âge de l'école obligatoire. Au vu des circonstances de l'espèce, notamment de la marge de manoeuvre financière du recourant, la juridiction précédente n'a pas non plus manifestement outrepassé son pouvoir d'appréciation (cf. supra consid. 5.3.1) en requérant de l'intimée qu'elle travaille à 30% seulement, et non directement à 50%, du 1 er août 2019 au 1 er août 2021. Partant, la critique du recourant doit être rejetée dans la mesure où elle est recevable.
5.4.
5.4.1. Le recourant soutient également que la cour cantonale se serait affranchie sans motif de l'obligation du juge, lorsqu'il applique la méthode du train de vie, d'établir exactement les charges concrètes composant le train de vie antérieur. La juridiction précédente aurait arbitrairement augmenté de moitié le forfait " épargne vacances " et le montant de base de l'intimée pour trois motifs. Premièrement, elle aurait mélangé les méthodes, dès lors que le fait d'accroître de manière abstraite tel ou tel poste de charge sur le seul fondement du prétendu train de vie confortable reviendrait à anticiper le partage d'un solde disponible. Deuxièmement, ce procédé violerait " frontalement " les art. 8 CC et 55 CPC, l'intimée étant dispensée du fardeau de la preuve et le juge renonçant à toute instruction malgré ses pouvoirs d'office. Troisièmement, le train de vie des parties ne serait pas confortable, puisque la cour cantonale retient elle-même qu'il était " plutôt modeste ", ce qui s'explique par l'épargne significative constituée par le recourant aux fins de prévoyance. Dans la mesure où, nonobstant une situation aisée, les conjoints avaient un train de vie modeste, celui-ci limiterait le niveau de vie auquel peut prétendre chacun d'eux. Par ailleurs, admettre l'augmentation de certains postes " reviendrait à vider de sa substance le principe de la protection de la confiance mise dans le mariage par chacun des conjoints en rendant les conséquences d'une séparation totalement imprévisibles et frappées du sceau du défaut de sécurité du droit ".
5.4.2. Si la méthode fondée sur les dépenses indispensables au maintien du train de vie durant la vie commune implique un calcul concret et qu'il incombe au créancier de la contribution d'entretien de démontrer les dépenses nécessaires à son train de vie (arrêt 5A_4/2019 du 13 août 2019 consid. 3.2), cette méthode n'exclut pas toute prise en considération de montants forfaitaires, par exemple pour des postes de dépenses liés aux besoins du quotidien qu'il n'est souvent pas possible d'établir avec précision (cf. arrêt 5A_198/2012 du 24 août 2012 consid. 8.3.3). Certes, l'arrêt querellé peut paraître contradictoire en tant que le montant de base et le poste vacances de l'intimée sont augmentés au vu du standard de vie du couple, puisqu'il est constaté qu' " hormis les vacances pour lesquelles un montant conséquent a déjà été retenu dans les charges de l'intimée/appelante et des enfants, le train de vie des parties était plutôt modeste ". Cet élément n'est toutefois pas de nature à démontrer qu'en l'espèce, la décision attaquée serait arbitraire et conduirait, comme le soutient le recourant, à accorder à l'intimée un train de vie supérieur à celui mené jusqu'à la cessation de la vie commune. En effet, la cour cantonale a expressément exclu les vacances de sa constatation relative au caractère modeste du train de vie des parties. Par ailleurs, la cour cantonale a considéré que le fait d'avoir doublé le montant de base couvrait également les frais d'entretien du cheval de l'intimée, estimé à 350 fr. Elle a ainsi augmenté de 1'000 fr. le montant destiné à couvrir les besoins de base de l'épouse au motif que le standard de vie du couple était plus élevé que le minimum vital du droit des poursuites, ce qui n'apparaît pas incompatible avec le fait de retenir que le train de vie des parties était par ailleurs plutôt modeste.
Infondée, la critique du recourant doit être rejetée.
5.5.
5.5.1. Le recourant se plaint enfin de ce que la cour cantonale aurait retenu de manière manifestement inexacte que son disponible était de 16'000 fr. Ce montant serait supérieur à son disponible réel, correspondant à la différence entre ses revenus mensuels nets de 26'476 fr. et les montants mensuels d'épargne non inférieurs à 16'000 fr. (sic) par mois durant les 11 dernières années. La décision querellée retiendrait à tort que " l'exclusion de l'épargne du train de vie antérieur devrait partiellement céder le pas par rapport au fait qu'il y a désormais deux ménages à financer et que chacun des époux aurait droit, dans une certaine mesure, à conserver le même train de vie ". La cour cantonale chercherait à " battre en brèche " la limite de l'entretien convenable et contournerait l'interdiction de répartition anticipée de la fortune. Elle aurait par ailleurs totalement fait abstraction de certaines charges mensuelles, à savoir ses frais de fiduciaire (333 fr. 35), de gestion des papiers-valeurs (416 fr. 65), de logement (4'500 fr. au lieu de 3'500 fr.), de véhicule (400 fr.), de visite et vacances (1'000 fr.). Le " total [de son] budget " devrait donc être retenu à hauteur de 19'961 fr. 80 au lieu de 16'811 fr. 80, ce qui lui laisserait un disponible de 6'514 fr. 20 uniquement.
5.5.2. La cour cantonale a retenu qu'au vu des revenus du couple et de l'application de la méthode du train de vie, il n'y avait pas lieu d'établir les charges de l'époux puisque ses revenus étaient manifestement suffisants pour couvrir les frais liés à l'existence de deux ménages et au paiement des pensions en faveur des enfants. Les allégations du recourant quant aux charges retenues en première instance tombaient dès lors à faux, vu qu'il jouissait seul de tout l'excédent. En effet, un montant disponible de plus de 16'000 fr. était plus que suffisant pour maintenir son train de vie d'avant la séparation même en tenant compte de l'existence de deux ménages séparés, tout en versant encore un montant considérable à sa prévoyance professionnelle. Il convenait de relever que selon la jurisprudence, l'épargne devait partiellement céder le pas par rapport au fait qu'il y avait désormais deux ménages à financer et que chacun des époux avait le droit, dans une certaine mesure, de conserver le même train de vie.
5.5.3. En l'occurrence, on ne discerne pas en quoi le fait de retenir - ce qui n'est au demeurant nullement arbitraire - que l'épargne du recourant devait partiellement céder le pas par rapport au fait qu'il y avait désormais deux ménages à financer remettrait en cause la limite de l'entretien convenable, étant relevé que le recourant n'a pas valablement contesté les dépenses nécessaires au maintien du train de vie de l'intimée (cf. supra consid. 5.4.2). Pour le surplus, le recourant se contente d'additionner les charges supplémentaires qu'il fait valoir à celles retenues en première instance. Ce faisant, il perd de vue que le montant de 16'811 fr. 80 retenu par le premier juge comprenait 6'000 fr. à titre de " LPP supplémentaire (estimation) " et que la cour cantonale a estimé qu'il ne fallait pas tenir compte de ce montant. Partant, la critique du recourant ne suffit pas à démontrer que la cour cantonale aurait versé dans l'arbitraire en retenant que les revenus de l'époux suffisaient à couvrir les frais des deux ménages, payer les pensions dues, maintenir son train de vie et épargner aux fins de prévoyance. Autant que recevable, le grief est infondé.
6.
En définitive, le recours est rejeté dans la mesure de sa recevabilité. Les frais judiciaires sont mis à la charge du recourant, qui succombe (art. 66 al. 1 LTF). Il n'y a pas lieu d'allouer des dépens à l'intimée, qui n'a pas été invitée à se déterminer (art. 68 al. 1 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 3'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties et à la 2 e Chambre civile de la Cour suprême du canton de Berne.
Lausanne, le 29 janvier 2020
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
Le Président : Herrmann
La Greffière : Feinberg