Faits :
A.
A.a. B.A._ (1973) et A.A._ (1963) se sont mariés le 8 octobre 1999 à U._ (BE).
Un enfant désormais majeur, C._, est issu de cette union.
A.b. Par contrat de vente immobilière du 11 janvier 2008, les époux A._ ont acquis en propriété commune (société simple) un immeuble à U._ sur lequel ils ont fait construire une maison individuelle. L'achat et la construction ont été financés notamment au moyen d'un versement anticipé du deuxième pilier du recourant à hauteur de 130'000 fr.
A.c. Le 17 janvier 2012, A.A._ a déposé une requête unilatérale en divorce par-devant le Président de la Section civile du Tribunal régional Jura bernois-Seeland, Agence du Jura bernois (ci-après: Président).
A.d. Par ordonnance du 8 mai 2014, le Président a ordonné la vente aux enchères de l'immeuble des parties. Le prix de vente a permis de rembourser la dette hypothécaire. Les frais liés à la vente ont été couverts en partie par le bénéfice de la vente de 1'177 fr. 95 et pris en charge pour le surplus par le recourant. Le versement anticipé de 130'000 fr. sur l'avoir LPP du recourant n'a pas pu être remboursé.
A.e. Par jugement du 10 février 2016, le Président a notamment prononcé le divorce des époux A._, condamné A.A._ à verser mensuellement et d'avance à B.A._ une contribution à son entretien de 2'500 fr. jusqu'au 30 septembre 2016 et de 2'310 fr. du 1 er octobre 2016 au 31 décembre 2017 et ordonné à la Caisse D._ de verser le montant de 39'384 fr. 50 sur le compte de libre passage F._ ouvert auprès de la Banque E._ à V._ en faveur de B.A._, montant à débiter du compte de prévoyance professionnelle de A.A._.
B.
B.a. Par acte du 14 mars 2016, B.A._ a interjeté appel contre le jugement du 10 février 2016.
B.b. Le 2 septembre 2016, A.A._ a déposé un mémoire de réponse et d'appel joint, contestant uniquement devoir toute contribution d'entretien au sens de l'<ref-law> à son épouse et donc sans requérir la réforme du jugement attaqué sur la question du partage des avoirs LPP.
B.c. Par ordonnance du 27 février 2018, le Juge instructeur de la 2 e Chambre civile de la Cour suprême du canton de Berne (ci-après: Juge instructeur) a établi, sur la base des attestations produites par les parties, le montant des avoirs de prévoyance accumulés par les parties durant le mariage aux dates des 17 janvier 2012, 10 février 2016 (respectivement 31 janvier 2016 pour le recourant) et 9 septembre 2016 (respectivement 31 août 2016 pour le recourant). Ces montants ont été reconnus comme exacts par courriers des parties des 1 eret 8 mars 2018, sous réserve du sort à réserver au versement anticipé de 130'000 fr. Au 17 janvier 2012, le montant des avoirs de prévoyance accumulés durant le mariage s'élevait ainsi à 837 fr. 75 pour l'épouse et à 21'315 fr. 85 pour l'époux.
B.d. Par arrêt du 5 avril 2018, la 2 e Chambre civile de la Cour suprême du canton de Berne (ci-après: Cour suprême) a partiellement admis les deux appels et réformé la décision attaquée en ce sens notamment qu'elle a condamné A.A._ à verser à B.A._, mensuellement et d'avance, sous déduction des montants déjà versés à ce titre en vertu de la convention de séparation, une contribution d'entretien de 1'700 fr. du 1er septembre 2016 jusqu'au 31 mars 2023 et a ordonné à la Caisse D._ de verser le montant de 43'081 fr. 70 sur le compte de libre passage F._ ouvert auprès de la Banque E._ à V._ en faveur de B.A._, montant à débiter du compte de prévoyance professionnelle de A.A._. Elle a rejeté les deux appels pour le surplus.
C.
Par acte du 9 mai 2018, A.A._ interjette un recours en matière civile au Tribunal fédéral contre cet arrêt. Il conclut à son annulation et à sa réforme en ce sens que la contribution d'entretien due à son ex-épouse soit supprimée, subsidiairement qu'elle soit ramenée à un montant mensuel de 648 fr. 50 dû à compter de l'entrée en force formelle du jugement de divorce (9 septembre 2016) jusqu'au 31 décembre 2017 et qu'il soit ordonné à son institution de prévoyance professionnelle de verser un montant de 10'239 fr. 05 sur le compte de libre passage de son ex-épouse. Il requiert également l'octroi de l'effet suspensif à son recours.
Invitées à se déterminer, l'intimée a conclu au rejet du recours et la Cour suprême à son admission partielle sur la question du partage des avoirs LPP et à sa réforme en ce sens qu'il est ordonné à la Caisse D._ de verser le montant de 39'384 fr. 50 sur le compte de libre passage F._ ouvert auprès de la Banque E._ à V._ en faveur de B.A._, montant à débiter du compte de prévoyance professionnelle de A.A._. L'intimée a également requis d'être mise au bénéfice de l'assistance judiciaire.
D.
Par ordonnance présidentielle du 4 juin 2018, la requête d'effet suspensif a été admise s'agissant de la question du partage des avoirs LPP et, s'agissant de la contribution due à l'entretien de l'intimée, accordée uniquement pour les arriérés mais non pour les aliments dus à compter du 1 er mai 2018.

Considérant en droit :
1.
Le recours a été déposé en temps utile (<ref-law>), contre une décision finale (<ref-law>), par une partie qui a succombé en dernière instance cantonale et sur recours (art. 75 et 76 LTF), dans une affaire matrimoniale (<ref-law>). La cause a pour objet la contribution d'entretien en faveur de l'ex-épouse ainsi que le partage des avoirs de prévoyance professionnelle. Il s'agit donc d'une affaire de nature pécuniaire, dont la valeur litigieuse est supérieure à 30'000 fr. (art. 74 al. 1 let. b et 51 al. 1 let. a et al. 4 LTF). Le recours en matière civile est ainsi en principe recevable.
2.
2.1. Le recours en matière civile peut être formé pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (<ref-law>). Cela étant, eu égard à l'exigence de motivation contenue à l'art. 42 al. 1 et 2 LTF, il n'examine en principe que les griefs soulevés; il n'est pas tenu de traiter, à l'instar d'une autorité de première instance, toutes les questions juridiques pouvant se poser, lorsque celles-ci ne sont plus discutées devant lui (<ref-ruling> consid. 2; <ref-ruling> consid. 1.3; <ref-ruling> consid. 1.4). L'<ref-law> exige par ailleurs que le recourant discute les motifs de la décision entreprise et indique précisément en quoi il estime que l'autorité précédente a méconnu le droit (<ref-ruling> consid. 2). En outre, le Tribunal fédéral ne connaît de la violation de droits fondamentaux que si un tel grief a été invoqué et motivé par le recourant (" principe d'allégation ", <ref-law>; <ref-ruling> consid. 2.2; <ref-ruling> consid. 3.3; <ref-ruling> consid. 1.2, 397 consid. 1.4 in fine), c'est-à-dire s'il a été expressément soulevé et exposé de façon claire et détaillée (ATF <ref-ruling> consid. 1.2; <ref-ruling> consid. 1.4.2). Les critiques de nature appellatoire sont irrecevables (<ref-ruling> consid. 2.3; <ref-ruling> consid. 10.1 et les arrêts cités).
2.2. Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>); il tient compte des faits figurant dans le jugement de première instance dans la mesure où ils ont été repris au moins implicitement par l'arrêt attaqué (arrêt 4A_182/2014 du 16 juillet 2014 consid. 1.2; sous l'OJ, <ref-ruling> consid. 1). Conformément à ce principe, les faits résumés ci-dessus intègrent aussi des éléments figurant dans le jugement du Tribunal régional.
Cela étant, l'autorité de céans peut rectifier ou compléter les faits retenus dans l'arrêt attaqué s'ils ont été établis en violation du droit au sens de l'<ref-law> ou de façon manifestement inexacte, c'est-à-dire arbitraire. Il incombe en principe au recourant de dénoncer ces vices, l'autorité de céans pouvant toutefois intervenir d'office (cf. art. 97 al. 1 et art. 105 al. 2 LTF; <ref-ruling> consid. 6.2). La correction du vice doit être susceptible d'influer sur le sort de la cause (art. 97 al. 1 in fine LTF). Le grief d'arbitraire dans l'établissement des faits doit satisfaire aux exigences de motivation plus strictes posées par l'<ref-law>; le recourant doit invoquer expressément ce droit constitutionnel (art. 9 Cst.) et exposer de manière claire et circonstanciée, si possible documentée, en quoi consiste la violation (<ref-ruling> consid. 2.3 p. 266; <ref-ruling> consid. 1.4.3).
3.
Le recourant conteste devoir une contribution à l'entretien de son ex-épouse ou, à tout le moins, soutient que celle-ci ne devrait pas excéder 648 fr. 50 par mois.
3.1. Il reproche en premier lieu à la Cour suprême d'avoir retenu de manière arbitraire qu'il n'avait pas contesté le montant de 1'700 fr. au versement duquel l'intimée avait initialement conclu dans son mémoire de réponse à la requête en divorce mais uniquement le principe même de devoir une contribution d'entretien à cette dernière. Il ressortait en effet clairement du texte de son mémoire d'appel joint que le montant de la contribution d'entretien revendiquée par l'intimée était également contesté. Dans la mesure où les charges mensuelles de l'intimée avaient été arrêtées à 3'348 fr. 50 et qu'il avait été admis qu'une activité lucrative à 50% susceptible de lui procurer un revenu mensuel de 2'700 fr. pouvait lui être imputée, il ne se justifiait en aucun cas d'allouer à l'intimée une contribution d'entretien supérieure à son déficit mensuel de 648 fr. 50.
3.2. La Cour suprême a donné raison au recourant sur la question de la tardiveté de la modification par l'intimée de ses conclusions relatives au montant de la contribution d'entretien qui devait lui être allouée. Elle a toutefois estimé qu'il n'avait pas discuté le montant de la contribution d'entretien mais uniquement son principe et la possibilité pour l'intimée de réaliser un revenu, de sorte qu'elle a en définitive alloué à l'intimée le plein de ses conclusions avant modification, à savoir une contribution à son entretien de 1'700 fr. par mois.
3.3. Le grief du recourant apparaît fondé. Il ressort effectivement de ses écritures d'appel qu'il ne remettait pas en question la seule modification par l'intimée de ses conclusions en première instance mais également certains des postes de charges allégués par celle-ci ainsi que sa capacité à ne pas pouvoir réaliser un revenu plus élevé. Il concluait par ailleurs à ce qu'aucune contribution d'entretien ne soit attribuée à l'intimée. Force est dès lors d'admettre que le recourant avait également contesté, devant l'instance précédente, la manière dont le revenu et les charges de l'intimée avaient été établis ainsi que la manière dont ses propres charges avaient été prises en compte. La cour cantonale ne pouvait ainsi simplement allouer à l'intimée le maximum de ses conclusions, ce qu'elle n'aurait pu faire que dans l'hypothèse où le recourant s'était limité à contester la recevabilité des conclusions modifiées de l'intimée. Elle devait au contraire définir une méthode de calcul et établir sur cette base la contribution d'entretien due à cette dernière (cf. <ref-ruling> consid. 4.2.2). S'agissant d'une question d'appréciation, il convient dès lors de renvoyer la cause à l'instance précédente pour ce faire (cf. BERNARD CORBOZ, in Commentaire de la LTF, 2e éd. 2014, n° 16 ad <ref-law>).
Pour calculer le montant dû selon lui à l'intimée à titre de contribution d'entretien, le recourant se fonde toutefois sur le montant de 3'348 fr. 50 initialement retenu pour les charges de l'intimée sans expliquer pour quel motif les adaptations opérées par les juges cantonaux sur les postes " prévoyance professionnelle ", " charge fiscale " et " frais d'obtention du revenu " ne devraient pas être prises en compte. Si les charges mensuelles de l'intimée ont dans un premier temps été arrêtées à 3'348 fr. 50, le premier juge et la Cour suprême à sa suite, ont en effet considéré qu'il fallait déduire de ce montant 150 fr. à titre de réduction du poste " prévoyance professionnelle " et y ajouter des frais d'obtention du revenu de 300 fr. ainsi que 300 fr. de charge fiscale. Les charges mensuelles de l'intimée ont donc au final été arrêtées à 3'798 fr. 50, arrondis à 3'800 fr., pour un revenu hypothétique mensuel de 2'700 fr. Dans la mesure où le recourant ne formule aucune critique sur le calcul de ces charges et ne remet plus en question devant la Cour de céans le revenu hypothétique de l'intimée arrêté à 2'700 fr., ce sont ces derniers chiffres qui devront être pris en compte par la Cour suprême dans son calcul. Au surplus, le recourant ne remet plus en question ses charges mensuelles arrêtées à 6'300 fr. par la Cour suprême et n'a jamais contesté son revenu mensuel net établi à 9'827 fr. par le premier juge (cf. jugement du 10 février 2016 consid. 6.2 p. 36 et consid. 6.3.8 p. 47).
4.
Le recourant remet également en question la durée durant laquelle la contribution d'entretien litigieuse devra être versée, estimant que cette obligation devrait être supprimée à compter de l'entrée en force formelle du prononcé de divorce le 9 septembre 2016 ou au plus tard le 31 décembre 2017.
Il relève qu'il verse une contribution à son ex-épouse depuis la séparation en 2009 et soutient qu'au terme de la période durant laquelle il a été condamné à contribuer à l'entretien de cette dernière, il aura en définitive versé une pension pendant plus de quatorze ans alors que le mariage, ponctué de multiples séparations, aura duré moins de dix ans. Il soutient également que l'intimée a toujours travaillé durant le mariage, qu'elle s'est vu allouer un montant non négligeable au titre de la liquidation du régime matrimonial et qu'elle dispose encore de plus de dix années pour se reconstituer une prévoyance appropriée. Quant à lui, il lui sera en revanche extrêmement difficile de renflouer son deuxième pilier au vu des importantes contributions d'entretien qu'il doit verser. Ses assurances-vie devront par ailleurs être supprimées pour verser à l'intimée les montants dus au titre de la liquidation du régime matrimonial et il ne dispose d'aucune autre fortune. Il estime ainsi, au vu de ces arguments et pour des motifs d'équité, que l'obligation de verser une contribution d'entretien devrait être supprimée avec un effet rétroactif à l'entrée en force formelle du jugement de divorce le 9 septembre 2016 ou à tout le moins au 31 décembre 2017, date initialement retenue par le tribunal de première instance et qui permettait largement à l'intimée de trouver un emploi lui permettant de couvrir ses charges.
Par son argumentation, le recourant se contente de substituer sa propre appréciation des faits à celle de la Cour suprême sans s'en prendre directement à la motivation de cette dernière. Il ne s'en prend notamment aucunement aux développements de la cour cantonale en tant que cette dernière a estimé qu'en vertu du principe de solidarité, il se justifiait d'allouer une contribution d'entretien à l'intimée jusqu'à ce qu'elle atteigne l'âge de 50 ans mais non au-delà. Son raisonnement consistait à soutenir que l'on pouvait s'inspirer en l'espèce de la jurisprudence selon laquelle cette limite d'âge était celle au-delà de laquelle on ne pouvait plus exiger d'un époux qui n'avait pas exercé d'activité durant le mariage de se réinsérer professionnellement. Cette durée permettait de tenir compte des spécificités de l'affaire à savoir notamment du fait qu'une perspective sensible d'amélioration de la capacité de gain de l'intimée était peu probable à moyen terme et qu'il fallait éviter de faire reposer financièrement sur le recourant une évolution de l'état de santé de l'intimée à long terme qui ne pouvait faire l'objet d'un pronostic fiable à ce stade. Cette solution permettait par ailleurs au recourant d'avoir devant lui encore quelques années sans devoir payer de contribution avant la retraite pour se reconstituer une prévoyance professionnelle suffisante et l'intimée bénéficiait pour sa part encore d'une quinzaine d'années avant sa propre retraite pour mettre à profit sa capacité de gain. Les affirmations contraires du recourant sur ces différents points ne suffisent à satisfaire aux réquisits de motivation susrappelés (cf. supra consid. 2.1), de sorte que son grief portant sur la question de la durée durant laquelle une contribution d'entretien post-divorce a été allouée à l'intimée, à savoir du 1er septembre 2016 au 31 mars 2023, est irrecevable.
5.
Le recourant se plaint d'une violation de l'<ref-law>.
Il reproche à la Cour suprême d'avoir considéré à tort que le nouveau droit du partage des avoirs de prévoyance professionnelle n'était effectif qu'à compter du 1 er janvier 2017 alors que le texte de l'<ref-law> implique une application immédiate du nouveau droit dans le cas d'espèce, soit un partage au moment de l'introduction de la procédure en divorce le 17 janvier 2012.
5.1. Dans l'arrêt attaqué, la Cour suprême a précisé que les nouvelles règles relatives au partage des avoirs de prévoyance professionnelle s'appliquaient au cas d'espèce. Suivant un courant doctrinal, elle a toutefois considéré que l'on ne pouvait estimer qu'il était dans l'intention du législateur de pénaliser ou d'avantager les parties à des procédures de divorce de longue durée. L'interprétation à apporter aux dispositions transitoires du nouveau droit ne devait pas conduire à donner un effet rétroactif aux nouvelles règles entrées en vigueur le 1 er janvier 2017 pour les causes déjà pendantes ou introduites avant cette date. En application du nouveau droit, le partage ne pouvait donc être ordonné à une date antérieure au 1 er janvier 2017. Cette dernière date ne pouvait toutefois entrer en ligne de compte en l'espèce dans la mesure où le jugement de première instance - et donc le principe du divorce - étaient entrés en force avant le 1er janvier 2017. Pour éviter de statuer ultra petita, elle a donc fait le choix de suivre les conclusions de l'intimée et a arrêté le partage des avoirs de prévoyance au 10 février 2016, date du prononcé de divorce. Dans ses déterminations du 12 septembre 2018, la Cour suprême a cependant pris acte du fait que le Tribunal fédéral avait, dans l'intervalle, choisi une autre solution qu'elle à la question du moment déterminant pour le partage s'agissant des causes pendantes au 1 er janvier 2017 et donc que le recours de A.A._ était manifestement bien fondé et devait être admis en tant qu'il requérait que le partage intervienne en date du 17 janvier 2012.
5.2.
5.2.1. A teneur de l'<ref-law> relatif au traitement de la prévoyance professionnelle en cas de divorce, les procès en divorce pendants devant une instance cantonale sont soumis au nouveau droit dès l'entrée en vigueur de la modification du 19 juin 2015. L'arrêt entrepris a été rendu le 5 avril 2018, soit après l'entrée en vigueur, le 1 er janvier 2017, de la novelle du 19 juin 2015 portant notamment modification des <ref-law> (RO 2016 2313), de sorte que le nouveau droit s'applique au cas d'espèce.
Selon l'<ref-law>, dans sa teneur en vigueur au 1 er janvier 2017, les prétentions de prévoyance professionnelle acquises durant le mariage et jusqu'à l'introduction de la procédure de divorce sont partagées entre les époux. Cette disposition s'applique sans réserve à toutes les procédures en cours au moment de son entrée en vigueur (<ref-ruling> consid. 7.1.2; arrêts 5A_172/2018 du 23 août 2018 consid. 5.2; 5A_710/2017 du 30 avril 2018 consid. 5.2; 5A_819/2017 du 20 mars 2018 consid. 10.2.2).
5.2.2. L'<ref-law>, également dans sa nouvelle teneur en vigueur dès le 1 er janvier 2017, prévoit que les prestations de sortie acquises, y compris les avoirs de libre passage et les versements anticipés pour la propriété du logement, sont partagées par moitié. Le versement anticipé pour un logement qui a été vendu ou réalisé durant le mariage doit, dans le cadre d'un divorce, être partagé selon les règles de l'art. 22 et 22a LFLP pour autant seulement qu'un produit a été obtenu de la vente ou de la réalisation de l'immeuble. Il n'y a dès lors pas lieu de tenir compte dans la prestation de sortie d'une perte réalisée sur le versement anticipé durant le mariage (sous l'ancien droit: <ref-ruling> consid. 3.3.1; <ref-ruling> consid. 3.3; <ref-ruling> consid. 4; <ref-ruling> consid. 3.3).
5.3. Compte tenu de ce qui précède, le grief du recourant apparaît fondé s'agissant de la date déterminante pour le partage qui doit être arrêtée au 17 janvier 2012 et non au 10 février 2016. Devaient en effet être partagés entre les époux, les avoirs de prévoyance professionnelle qu'ils avaient accumulés entre la date du mariage et celle de l'introduction de la procédure de divorce (cf. <ref-law>; cf. supra consid. 5.2.1).
Pour ce qui est du montant à partager, l'intimée soutient que, si l'on devait admettre que le nouveau droit s'applique au cas d'espèce, il faudrait alors également prendre en compte le montant de 130'000 fr. qui a été prélevé sur les avoirs LPP du recourant pour financer l'immeuble des parties. Or, il ressort de l'état de fait cantonal - non contesté sur ce point par l'intimée - que ce montant n'a pas pu être remboursé au fonds de prévoyance du recourant ensuite de la vente aux enchères de l'immeuble. La jurisprudence prévoit à cet égard qu'il n'y a pas lieu de tenir compte dans le calcul de la prestation de sortie à partager d'une perte subie ensuite de la vente ou de la réalisation de l'immeuble financé au moyen d'un versement anticipé (cf. supra consid. 5.2.2). Contrairement à ce que soutient l'intimée, le fait que le nouveau droit prévoie désormais explicitement que les versements anticipés pour la propriété du logement fassent partie des prestations de sortie acquises et doivent à ce titre être partagés par moitié entre les époux en cas de divorce (cf. <ref-law> et 30c al. 6 LPP) n'a aucune incidence sur le sort à réserver à une perte subie sur le versement anticipé dans la mesure où la jurisprudence considérait déjà que de tels versements devaient être pris en compte dans le calcul de l'avoir LPP à partager avant l'entrée en vigueur du nouveau droit (cf. supra consid. 5.2.2).
Si l'on prend en compte le montant de la prévoyance acquise par les deux époux entre la date du mariage et l'introduction de la procédure de divorce le 17 janvier 2012, tel qu'arrêté par le Juge instructeur et reconnu par les parties, le montant dû par le recourant à l'intimée en application de l'<ref-law> s'élève à 10'239 fr. ([21'315 fr. 85 / 2] - [837 fr. 75 / 2]), aucune des parties ne remettant en question le principe d'un partage par moitié des avoirs de prévoyance accumulés. Cela étant, comme le relève à juste titre l'intimée, le recourant n'a pas contesté dans son appel joint du 2 septembre 2016 sa condamnation à verser un montant de 39'384 fr. 50 en faveur de l'intimée au titre du partage des avoirs de prévoyance. Seule la question du versement d'une contribution d'entretien à son ex-épouse était alors remise en question par le recourant. Or, si le premier juge établit certes les faits d'office pour toutes les questions qui touchent à la prévoyance professionnelle et statue à leur sujet même en l'absence de conclusions des parties (cf. arrêts 5A_97/2017 et 5A_11/2017 du 23 août 2017 consid. 5.1.3; 5A_862/2012 du 30 mai 2013 consid. 5.3.2, publié in SJ 2014 I p. 76), dites maximes ne s'imposent toutefois pas devant l'autorité de deuxième instance (cf. arrêt 5A_862/2012 précité consid. 5.3.3). Ainsi, sauf à violer l'interdiction de formuler de nouvelles conclusions au sens de l'<ref-law>, on ne saurait allouer à l'intimée, au titre du partage des avoirs LPP des parties, un montant inférieur à celui obtenu en première instance, faute pour le recourant de l'avoir remis en question. Partant, l'arrêt attaqué sera réformé en ce sens.
6.
En définitive, le recours est partiellement admis dans la mesure où il est recevable. L'arrêt attaqué est annulé et réformé sur la question du partage des avoirs de prévoyance professionnelle des parties au sens des considérants. Pour le surplus, la cause est renvoyée à l'autorité précédente pour qu'elle établisse la méthode de calcul applicable pour déterminer la contribution d'entretien due par le recourant en faveur de l'intimée et, cas échéant, qu'elle détermine le montant de l'éventuelle contribution due sur cette base entre le 1er septembre 2016 et le 31 mars 2023. Le recours est rejeté pour le reste. Il appartiendra à l'autorité cantonale de statuer à nouveau sur les frais et dépens de la procédure cantonale (<ref-law>). Le recourant obtient partiellement gain de cause sur deux de ses trois griefs. Il se justifie dès lors d'arrêter les frais judiciaires à 4'200 fr. et de les répartir à raison de deux tiers à charge de l'intimée et un tiers à charge du recourant (<ref-law>). L'intimée versera en outre une indemnité de dépens au recourant (art. 68 al. 1 et 2 LTF). La demande d'assistance judiciaire de l'intimée est admise (<ref-law>). Les frais judiciaires lui incombant seront donc provisoirement supportés par la Caisse du Tribunal fédéral (<ref-law>); l'octroi de l'assistance judiciaire ne dispense cependant pas l'intimée du paiement des dépens (<ref-ruling> consid. 2c; arrêt 5A_46/2017 du 19 juin 2017 consid. 7).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est partiellement admis et l'arrêt attaqué annulé et réformé en ce sens qu'il est ordonné à la Caisse D._ de verser le montant de 39'384 fr. 50 sur le compte de libre passage F._ ouvert auprès de la Banque E._ à V._ en faveur de B.A._, montant à débiter du compte de prévoyance professionnelle de A.A._. Pour le surplus, la cause est renvoyée à la Cour suprême du canton de Berne, 2 e Chambre civile, pour qu'elle détermine le montant de l'éventuelle contribution due par A.A._ à l'entretien de B.A._ du 1er septembre 2016 au 31 mars 2023.
2.
La requête d'assistance judiciaire de l'intimée est admise et Me François Contini lui est désigné comme avocat d'office.
3.
Les frais judiciaires, arrêtés à 4'200 fr., sont répartis à raison de 2'800 fr. à la charge de B.A._ et 1'400 fr. à la charge de A.A._. Les frais mis à la charge de B.A._ sont provisoirement supportés par la Caisse du Tribunal fédéral.
4.
Une indemnité de 3'600 fr., à verser à A.A._ à titre de dépens, est mise à la charge de B.A._.
5.
Une indemnité de 3'000 fr., supportée par la Caisse du Tribunal fédéral, est allouée à Me François Contini à titre d'honoraires d'avocat d'office.
6.
Le présent arrêt est communiqué aux parties et à la 2 e Chambre civile de la Cour suprême du canton de Berne.
Lausanne, le 11 janvier 2019
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
Le Président : Herrmann
La Greffière : Hildbrand