Faits :
A.
A.a. B.A._ (1979) et A.A._ (1965) se sont mariés le 5 juin 2003. Par contrat de mariage notarié du même jour, les époux ont opté pour le régime matrimonial de la séparation de biens.
Deux enfants sont issues de cette union, à savoir C._, née en 2005, et D._, née en 2007.
Les parties se sont séparées le 28 janvier 2014. La séparation a été réglementée par plusieurs ordonnances de mesures protectrices de l'union conjugale, provisionnelles et d'extrême urgence.
A.A._ a connu un effondrement psychique quasi-total à la suite de la séparation et de la dissolution des liens familiaux pour lequel un début d'amélioration a été constaté dès juin 2017. Il n'a plus exercé le droit de visite dont il bénéficiait sur ses filles à compter du 6 décembre 2015.
A.b. Par demande unilatérale en divorce du 7 juillet 2016, B.A._ a conclu notamment au prononcé du divorce et à ce que l'autorité parentale ainsi que la garde sur les enfants lui soient attribuées exclusivement.
A.A._ n'a pas procédé sur le fond dans le délai imparti à cet effet et ne s'est pas présenté ni fait représenter à l'audience de plaidoiries finales qui s'est tenue le 7 mars 2017 et à laquelle il avait été valablement assigné à comparaître par voie édictale.
A.c. Par jugement par défaut du 19 mai 2017, le Tribunal civil de l'arrondissement de Lausanne (ci-après: Tribunal civil) a notamment admis la demande unilatérale en divorce déposée le 7 juillet 2016 par B.A._ contre A.A._ (ch. I du dispositif), prononcé le divorce des parties (ch. II), attribué la garde et l'autorité parentale exclusive sur les enfants à leur mère (ch. III) et dit que A.A._ exercerait son droit de visite à l'égard de ses filles d'entente avec leur mère (IV).
Un jugement rectificatif qui ne porte pas sur les points encore litigieux devant le Tribunal de céans a été rendu le 1er juin 2017.
A.d. Le 14 juin 2017, A.A._ a formé une requête en restitution de délai par-devant le Tribunal civil, concluant à l'annulation du jugement de divorce rendu par défaut le 19 mai 2017 et à ce qu'un délai de réponse lui soit imparti. Cette requête a été rejetée par procédé incident du 19 mars 2018 de la Présidente du Tribunal civil, confirmé par arrêt du 13 août 2018 de la Cour d'appel civile du Tribunal cantonal vaudois (ci-après: Cour d'appel).
B.
B.a. Parallèlement, A.A._ a interjeté un appel contre le jugement du 19 mai 2017, par acte du 19 juin 2017.
B.b. Par arrêt du 25 avril 2019, la Cour d'appel a partiellement admis l'appel de A.A._ qu'elle a réformé uniquement sur des points qui ne sont plus litigieux devant le Tribunal de céans. Elle a ainsi confirmé le jugement attaqué s'agissant de l'attribution de la garde et de l'autorité parentale exclusive sur les enfants à leur mère et des modalités d'exercice du droit de visite du père sur ses filles.
Cet arrêt a fait l'objet d'une demande de révision introduite par A.A._ s'agissant d'un point du dispositif de l'arrêt qui n'a pas été contesté devant le Tribunal de céans. La requête de révision a été admise par arrêt du 29 août 2019.
C.
Par acte du 29 mai 2019, A.A._ forme un recours en matière civile au Tribunal fédéral contre l'arrêt du 25 avril 2019. Il conclut principalement à sa réforme en ce sens qu'il soit dit qu'il pourra avoir ses filles auprès de lui un dimanche sur deux de 10h à 18h30, à charge pour lui d'aller les chercher là où elles se trouvent et de les y ramener. Subsidiairement, il conclut à sa réforme en ce sens qu'il soit dit qu'il pourra avoir ses filles auprès de lui un dimanche sur deux de 10h à 18h30, avec un accompagnant, à charge pour lui d'aller les chercher là où elles se trouvent et de les y ramener. Très subsidiairement, il conclut à l'annulation de l'arrêt querellé et au renvoi de la cause à la Cour d'appel pour qu'elle statue dans le sens des considérants. Il a également requis d'être mis au bénéfice de l'assistance judiciaire pour la procédure fédérale.
Invitées à se déterminer, la Cour d'appel s'est référée aux considérants de son arrêt et l'intimée a conclu au rejet du recours. Le recourant a répliqué le 20 mars 2020. L'intimée a dupliqué le 3 avril 2020.

Considérant en droit :
1.
L'arrêt attaqué est une décision finale (<ref-law>), rendue par une juridiction cantonale de dernière instance ayant statué sur recours (art. 75 al. 1 et 2 LTF) dans une affaire civile (<ref-law>). Il s'agit d'une contestation de nature non pécuniaire dès lors qu'elle porte sur le droit aux relations personnelles du père avec ses enfants. Le recourant a pris part à la procédure devant l'autorité précédente (art. al. 1 let. a LTF) et a un intérêt digne de protection à l'annulation ou à la modification de la décision attaquée (<ref-law>). Déposé dans le délai (<ref-law>) et la forme (<ref-law>) prévus par la loi, le recours est donc en principe recevable au regard des dispositions précitées.
2.
2.1. Le recours en matière civile peut être formé pour violation du droit, tel qu'il est délimité par les art. 95 s. LTF. Le Tribunal fédéral applique le droit d'office (<ref-law>). Cela étant, eu égard à l'exigence de motivation contenue à l'art. 42 al. 1 et 2 LTF, il n'examine en principe que les griefs soulevés (<ref-ruling> consid. 2.4 et les références). Le recourant doit par conséquent discuter les motifs de la décision entreprise et indiquer précisément en quoi il estime que l'autorité précédente a méconnu le droit (<ref-ruling> consid. 1.7.1; <ref-ruling> consid. 2.4 et la référence). Le Tribunal fédéral ne connaît par ailleurs de la violation de droits fondamentaux que si un tel grief a été expressément invoqué et motivé de façon claire et détaillée par le recourant (" principe d'allégation ", <ref-law>; <ref-ruling> consid. 2.1; <ref-ruling> consid. 2.4).
2.2. Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>). Il ne peut s'en écarter que si ceux-ci ont été constatés de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law> (<ref-law>), et si la correction du vice est susceptible d'influer sur le sort de la cause (<ref-law>). Le recourant qui soutient que les faits ont été établis d'une manière manifestement inexacte, c'est-à-dire arbitraire au sens de l'art. 9 Cst. (<ref-ruling> consid. 2.2 et la référence), doit satisfaire au principe d'allégation susmentionné (<ref-law>; cf. supra consid. 2.1; <ref-ruling> consid. 1.1). Le recourant ne peut se limiter à contredire les constatations litigieuses par ses propres allégations ou par l'exposé de sa propre appréciation des preuves; il doit indiquer de façon précise en quoi ces constatations sont arbitraires au sens de l'art. 9 Cst. (<ref-ruling> consid. 1.4.3). Une critique des faits qui ne satisfait pas à cette exigence est irrecevable (<ref-ruling> consid. 1.3.1 et la référence).
2.3. L'intimée conclut à l'irrecevabilité des conclusions subsidiaires du recours au motif que celles-ci seraient nouvelles. Tel n'est toutefois pas le cas puisque le recourant concluait déjà, dans son appel du 19 juin 2017, à l'instauration d'un droit de visite en sa faveur un dimanche sur deux de 10h00 à 18h30, avec un accompagnant. En revanche, son chef de conclusions principal qui tend à l'instauration d'un droit de visite identique sans accompagnant est nouveau et, partant, irrecevable (<ref-law>; <ref-ruling> consid. 1.1; <ref-ruling> consid. 4.4.2 et les références).
3.
Le recourant se plaint d'une violation de la maxime inquisitoire (<ref-law>) au motif que les enfants auraient été entendues de manière insuffisante (<ref-law>) et, subsidiairement, d'une violation de son droit à la preuve au sens de l'art. 29 al. 2 Cst.
3.1. Le recourant soutient qu'il ne ressort pas du compte-rendu de l'audition de ses filles que celles-ci auraient été informées des vraies raisons qui avaient eu pour conséquence qu'elles ne l'avaient plus vu pendant plusieurs années, à savoir la grave dépression qu'il avait traversée. Il ne ressortait pas non plus dudit compte-rendu qu'elles auraient été informées du fait qu'il va désormais mieux ni qu'elles auraient été entendues quant à la réintroduction progressive d'un droit de visite usuel. Or, ces questions étaient déterminantes dans la mesure où les enfants vivaient depuis 2015 dans la sphère d'influence exclusive de leur mère avec laquelle il était gravement en conflit. Au vu de l'âge des enfants, leur opinion avait un poids certain relativement au droit de visite, de sorte qu'elles auraient dû être informées de la réalité des faits. En tant qu'il ne ressortait pas du compte-rendu de leur audition qu'elles s'étaient forgées une opinion en connaissance de cause, l'administration des preuves n'était que partielle et sa force probante devait être contestée. Partant, les art. 296 et 298 CPC avaient été violés et l'opinion des enfants ne pouvait être valablement retenue comme un motif de restriction du droit de visite usuel. Subsidiairement, comme l'administration de la preuve n'était que partielle, son droit à la preuve avait été violé.
3.2. En ce qui concerne l'audition de l'enfant, la question de savoir si et à quelles conditions ce dernier doit être entendu est résolue au premier chef par l'<ref-law>, selon lequel les enfants sont entendus personnellement et de manière appropriée par le juge ou par un tiers nommé à cet effet, pour autant que leur âge ou de justes motifs ne s'y opposent pas. L'audition ne présuppose pas que l'enfant ait la capacité de discernement au sens de l'<ref-law>. Selon la ligne directrice suivie par le Tribunal fédéral, il doit, en principe, être entendu à partir de six ans révolus (<ref-ruling> consid. 3; <ref-ruling> consid. 1.2.3). L'audition de l'enfant, alors qu'il n'a pas encore de capacité de discernement par rapport aux enjeux, vise avant tout à permettre au juge compétent de se faire une idée personnelle et de disposer d'une source de renseignements supplémentaire pour établir les faits et prendre sa décision (<ref-ruling> consid. 2.6; <ref-ruling> consid. 1.1; arrêt 5A_119/2010 du 12 mars 2010 consid. 2.1.3). Dans le cadre des procédures relatives aux enfants, la maxime inquisitoire - et la maxime d'office - trouvent application, conformément à l'<ref-law>. Le juge est dès lors tenu d'entendre l'enfant, non seulement lorsque celui-ci ou ses parents le requièrent, mais aussi dans tous les cas où aucun juste motif ne s'y oppose (arrêt 5A_402/2011 du 5 décembre 2011 consid. 5.1 et les références).
L'<ref-law> prévoit que seules les informations nécessaires à la décision sont consignées au procès-verbal et sont communiquées aux parents. Ces derniers ont donc le droit d'être renseignés sur les éléments essentiels du résultat de l'audition, dans la mesure où ceux- ci influencent la décision du juge. Le Tribunal fédéral a déjà eu l'occasion de juger que, pour respecter leur droit d'être entendus, il suffit que les parents puissent se déterminer, avant la décision sur l'attribution des enfants, sur le compte-rendu de l'entretien confidentiel que le juge a eu avec leur enfant; les détails de l'entretien n'ont pas à être communiqués aux parents (<ref-ruling> consid. 4a et 4c; arrêts 5A_88/2015 du 5 juin 2015 consid. 3.3.1; 5A_809/2010 du 4 avril 2011 consid. 2.1 et les références; 5C.210/2000 du 27 octobre 2000 consid. 2a, publié in FamPra.ch 2001 p. 606).
Si, dans le cadre d'un même conflit conjugal, le juge est appelé à intervenir par plusieurs décisions successives, l'audition de l'enfant n'aura pas à être répétée chaque fois, à moins que l'écoulement d'un temps particulièrement long ou d'autres circonstances rendent nécessaire son actualisation (arrêt 5A_572/2015 du 8 octobre 2015 consid. 4.2 in fineet la référence).
3.3. En l'occurrence, les juges cantonaux ont estimé que trop de temps s'était écoulé depuis l'audition des enfants qui était intervenue le 2 novembre 2015 dans le cadre de l'établissement d'une expertise pédopsychiatrique. L'un des juges de la composition a donc procédé à une nouvelle audition des enfants le 7 novembre 2018. Conformément à la jurisprudence, un compte-rendu de ces auditions a été communiqué aux parties, sur lequel elles ont pu se déterminer. Or, si le recourant s'est bien déterminé sur le compte-rendu d'audition, il ne soutient aucunement s'être plaint dans sa détermination de la manière dont l'audition des enfants a été menée ni que les juges cantonaux auraient omis de tenir compte de ses éventuelles critiques à cet égard. Dans ces circonstances, il ne saurait se prévaloir dans le présent recours d'une audition incomplète de ses filles et ses griefs sur ce point sont par conséquent infondés.
4.
Le recourant se plaint d'une violation par la Cour d'appel de son pouvoir d'appréciation et, subsidiairement, d'arbitraire dans l'application des art. 273 et 274 CC en tant qu'elle a prévu que son droit de visite devait être organisé d'entente avec l'intimée. Pour le même motif, il soulève également un grief de violation de l'<ref-law> dans la mesure où la cour cantonale a restreint son droit fondamental d'entretenir des relations avec ses filles en le soumettant à l'arbitraire d'une personne, à savoir l'intimée.
4.1. Le recourant estime que la cour cantonale a excédé son pouvoir d'appréciation dès lors que la manière dont elle a arrêté son droit de visite sur ses filles revient en définitive à laisser l'intimée décider librement s'il peut effectivement exercer ou non son droit de visite. Cette décision était en contradiction avec son constat selon lequel l'instauration de l'autorité parentale conjointe était impossible faute de l'existence d'une coopération minimale entre les parties. Il était difficile de comprendre comment un conflit d'une importance telle qu'il justifiait d'attribuer l'autorité parentale exclusive à l'intimée devait néanmoins permettre la fixation d'un droit de visite fondé sur une entente entre les parties. Cela revenait de facto à lui retirer purement et simplement tout droit de visite. Ce faisant, les juges cantonaux avaient rendu une décision arbitraire dans son résultat et excédé leur pouvoir d'appréciation.
4.2.
4.2.1. L'<ref-law> prévoit que le père ou la mère qui ne détient pas l'autorité parentale ou la garde ainsi que l'enfant mineur ont réciproquement le droit d'entretenir les relations personnelles indiquées par les circonstances. Autrefois considéré comme un droit naturel des parents, le droit aux relations personnelles de l'<ref-law> est désormais conçu comme un droit-devoir réciproque qui sert en premier lieu les intérêts de l'enfant (<ref-ruling> consid. 5; arrêts 5A_728/2015 du 25 août 2016 consid. 2.2; 5A_422/2015 du 10 février 2016 consid. 4.2 non publié aux <ref-ruling>; 5A_756/2013 du 9 janvier 2014 consid. 5.1.2, publié in FamPra.ch 2014 p. 433). A cet égard, il est unanimement reconnu que le rapport de l'enfant avec ses deux parents est essentiel et qu'il peut jouer un rôle décisif dans le processus de recherche d'identité de l'enfant (<ref-ruling> consid. 4a; <ref-ruling> consid. 3c; arrêt 5A_586/2012 du 12 décembre 2012 consid. 4.2).
L'appréciation des circonstances de fait pour fixer le droit aux relations personnelles des art. 273 et 274 CC, c'est-à-dire la détermination de leur portée juridique, est une question de droit. Le Tribunal fédéral s'impose toutefois une certaine retenue. Le juge du fait qui, par son expérience en la matière, connaît mieux les parties et le milieu dans lequel l'enfant évolue, dispose d'un large pouvoir d'appréciation en vertu de l'<ref-law>. Le Tribunal fédéral n'intervient que si le juge, sans aucun motif, a écarté des critères essentiels pour la décision sur le droit de visite des enfants ou, à l'inverse, s'est fondé sur des éléments dépourvus d'importance au regard du bien des enfants ou contrevenant aux principes du droit fédéral (<ref-ruling> consid. 4a; arrêts 5A_53/2017 du 23 mars 2017 consid. 5.1; 5A_22/2017 du 27 février 2017 consid. 3.1.3; 5A_422/2015 précité consid. 4.2 in fine non publié aux <ref-ruling>).
4.2.2. La fixation des relations personnelles au sens de l'<ref-law> relève de la compétence du juge matrimonial ou de l'autorité de protection compétente sur le fond, seule l'organisation des modalités pratiques dans le cadre défini par l'autorité ou le juge compétent pouvant être confiée à un curateur (cf. arrêts 5A_670/2013 du 8 janvier 2014 consid. 4.1; 5A_586/2012 précité consid. 4.2 et la référence; 5A_101/2011 du 7 juin 2011 consid. 3.1.4; 5C.170/2001 du 31 août 2001 consid. 5c/aa). Lorsque cette question est tranchée dans le cadre d'une procédure de mesures protectrices de l'union conjugale ou de divorce, elle est soustraite à la libre disposition des parties et le juge compétent statue d'office, une éventuelle convention entre les parties n'ayant que valeur de proposition (cf. <ref-law>; MEIER/STETTLER, Droit de la filiation, 6 ème éd. 2019, n° 1032 et les arrêts cités).
4.3. Le grief du recourant est fondé. En effet, en tant que les juges cantonaux ont estimé, à l'instar de l'autorité de première instance, que le droit de visite du recourant devait être fixé " d'entente avec la mère ", ils ont en définitive délégué à l'une des parties à la procédure la compétence de décider des modalités d'exercice du droit de visite de l'autre et d'opposer son veto à toute proposition formulée par cette dernière. Ce procédé viole l'<ref-law> dans la mesure où la compétence de fixer les modalités d'exercice du droit de visite appartenait en l'espèce uniquement au juge du divorce auquel il incombait de surcroît de statuer sur cette question d'office. En conséquence, le recours doit être admis sur ce point et la cause renvoyée à l'autorité cantonale pour qu'elle fixe les modalités d'exercice du droit de visite du recourant sur ses filles.
4.4. Compte tenu de l'admission de ce grief et du renvoi de la cause qui s'ensuit, il n'y a pas lieu d'examiner le grief de violation des art. 13 Cst. et 8 CEDH soulevé par le recourant au motif que le droit de visite tel que fixé en instance cantonale reviendrait à le priver de facto de tout droit à entretenir des relations personnelles avec ses filles.
Pour les mêmes motifs, il n'y a pas davantage lieu d'examiner à ce stade son grief d'appréciation arbitraire des faits au motif que la cour cantonale aurait à tort fait état de sa volonté de ne plus se préoccuper de ses enfants sans tenir compte du fait que cette situation avait été induite par sa maladie et ne lui était donc pas imputable et qu'elle avait insuffisamment tenu compte de l'évolution favorable de son état de santé. En effet, le fait que les enfants n'ont plus été en contact durant de nombreuses années avec leur père, les motifs de cette séparation et l'état de santé actuel du recourant sont des éléments déterminants pour décider du cadre dans lequel un éventuel droit aux relations personnelles doit s'exercer. Partant, ces circonstances devront de toute façon être examinées et prises en compte pour définir les modalités d'exercice du droit de visite et en particulier déterminer les éventuelles mesures d'accompagnement qui devront être mises en place pour permettre la réintroduction progressive d'un droit de visite en faveur du recourant puisqu'une suppression totale de celui-ci n'a pas été thématisée par l'autorité cantonale.
5.
En définitive, le recours est admis, l'arrêt attaqué annulé et la cause renvoyée à l'autorité cantonale pour nouvelle décision quant aux modalités d'exercice du droit de visite du recourant sur ses filles et aux frais et dépens de première et deuxième instances cantonales. Les frais judiciaires pour la procédure fédérale sont mis à la charge de l'intimée, qui a conclu au rejet du recours (<ref-law>). Celle-ci versera en outre une indemnité de dépens au recourant (<ref-law>). La demande d'assistance judiciaire du recourant devient par conséquent sans objet.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est admis, l'arrêt attaqué annulé et la cause renvoyée à l'autorité cantonale pour nouvelle décision au sens des considérants.
2.
La requête d'assistance judiciaire du recourant est sans objet.
3.
Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge de l'intimée.
4.
Une indemnité de 2'500 fr., à payer au recourant à titre de dépens, est mise à la charge de l'intimée.
5.
Le présent arrêt est communiqué aux parties et à la Cour d'appel civile du Tribunal cantonal du canton de Vaud.
Lausanne, le 16 avril 2020
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
Le Président : Herrmann
La Greffière : Hildbrand