Faits : A. A.a. A.X._, né en 1964, et B.X._ en 1975, se sont mariés en 2003. Deux enfants sont issus de cette union: C._, né en 2003, et D._, née en 2006. A.X._ est en outre le père de E._, né en 2012, qu'il a eu avec sa nouvelle compagne. A.b. De juillet 2007 à février 2010, la situation des parties a été réglée par le prononcé de mesures protectrices de l'union conjugale. Les enfants ayant été confiés dès la séparation à leur mère, le droit de visite de leur père a, durant toute cette période, fait l'objet de difficultés importantes et récurrentes entre les époux, si bien que, en 2008, ce droit a été organisé un dimanche par mois de manière surveillée ou accompagnée, une expertise pédopsychiatrique a été ordonnée afin de déterminer les incidences du conflit parental sur les enfants, et une curatelle d'assistance éducative a été instaurée afin de surveiller les conditions d'exercice du droit de visite, et en 2009, ce droit a été fixé tout d'abord à deux fois par mois au Point Rencontre pour une durée de 3 heures, puis a été élargi pour devenir usuel, le passage des enfants se faisant néanmoins toujours dans un cadre surveillé. D'autres mesures ont encore dû être prononcées, parfois en procédure urgente, notamment pour protéger les enfants des conséquences du conflit de loyauté dans lequel ils se trouvaient. B. B.a. B.a.a. Le 17 février 2010, A.X._ a déposé une demande unilatérale en divorce devant le Président du Tribunal de l'arrondissement de Lausanne. B.a.b. Durant la procédure de divorce, le droit de visite a, à nouveau, fait l'objet de plusieures procédures de mesures provisionnelles, avec de nombreuses précisions quant aux modalités d'exercice de ce droit. B.a.c. Par jugement du 24 avril 2013, le Tribunal civil de l'arrondissement de Lausanne a, dans les points encore pertinents pour la présente cause, statué comme suit sur la demande en divorce: "I. (...); II. attribue l'autorité parentale et la garde des enfants C._, né en 2003, et D._, née en 2006, à la défenderesse, B.X._; III. dit que le demandeur A.X._ pourra avoir ses enfants auprès de lui, à charge pour lui d'aller les chercher là où ils se trouvent et de les y ramener, sans alternance pour les trajets: - alternativement un week-end sur deux, le premier et le deuxième de chaque mois, du vendredi soir à 18:00 heures au dimanche soir à 18:00 heures, sauf accord contraire entre les parties concernant les horaires; - alternativement durant les week-ends prolongés (Noël, Pentecôte, Pâques, Ascension), durant la moitié des vacances scolaires, moyennant préavis donné à la fin de chaque année pour l'année suivante et pour un séjour continu de trois semaines au maximum, la requérante ayant la priorité sur les quatre semaines de vacances imposées à elle par son employeur, dates qu'elle communiquera au plus tard le 30 septembre de chaque année. Les heures de passage durant les vacances s'exerceront, sauf accord contraire entre les parties, à 18:00 heures; - s'agissant des vacances de février, une année sur deux, la première fois en 2013 et s'agissant des vacances en fin d'année civile, une année sur deux du 24 au 30 décembre lorsqu'il les a en février de l'année suivante et du 30 décembre au samedi précédant la reprise de l'école dans le cas inverse; IV. dit que le demandeur devra communiquer au moins un mois à l'avance la destination des vacances choisies lorsqu'il aura ses enfants auprès de lui, afin de permettre à la défenderesse de les joindre tous les jeudis entre 18:00 heures et 19:00 heures. Lorsque le demandeur aura ses enfants durant leurs dernières semaines de vacances, il les ramènera auprès de leur mère le vendredi précédant la reprise de l'école; V. maintient le mandat de curatelle d'assistance éducative en faveur de C._, né en 2003, et D._, née en 2006, confié à l'autorité tutélaire de G._, subsidiairement au Service de protection de la jeunesse et des adultes de la ville de H._; VI. astreint le demandeur à contribuer à l'entretien de ses enfants C._ et D._, par le régulier versement d'une pension mensuelle, allocations familiales dues en sus, par enfant et payable d'avance le premier de chaque mois en mains de la défenderesse, d'un montant de: - fr. 500.- jusqu'à l'âge de six ans révolus, - fr. 550.- dès lors et jusqu'à l'âge de dix ans révolus; - fr. 600.- dès lors et jusqu'à l'âge de quinze ans révolus; - fr. 650.- dès lors, jusqu'à la majorité et au-delà, jusqu'à l'achèvement de la formation professionnelle si les conditions de l'article 277 alinéa 1 CC sont remplies; dit qu'en sus des pensions précitées, le demandeur devra contribuer à la moitié des frais extraordinaires des enfants pour autant que lesdits frais soient objectivement justifiés; VII. (...); VIII. (...); IX. dit que le demandeur versera à la défenderesse, dès jugement définitif et exécutoire, la somme de 17'290 fr. (dix sept mille deux cent nonante francs) au titre de liquidation du régime matrimonial; déclare le régime matrimonial des époux X._ dissous et liquidé, chaque partie étant reconnue propriétaire des biens en sa possession; (...) " B.b. Par acte du 27 mai 2013, A.X._ a formé un appel contre ce jugement, critiquant l'attribution de l'autorité parentale et de la garde, le montant de la contribution d'entretien et la liquidation du régime matrimonial. B.X._ a déposé sa réponse le 29 août 2013. Par arrêt du 9 octobre 2013, la Cour d'appel civile du Tribunal cantonal vaudois a partiellement admis l'appel puis rectifié le chiffre III et modifié les chiffres IV et IX du dispositif du jugement attaqué comme suit: "III. dit que le demandeur A.X._ pourra avoir ses enfants auprès de lui, à charge pour lui d'aller les chercher là où ils se trouvent et de les y ramener, sans alternance pour les trajets: - alternativement un week-end sur deux, le premier et le troisième week-end de chaque mois, du vendredi soir à 18:00 heures au dimanche soir à 18:00 heures, sauf accord contraire entre les parties concernant les horaires, - alternativement durant les week-ends prolongés (Noël, Pentecôte, Pâques, Ascension), - durant la moitié des vacances scolaires, moyennant préavis donné à la fin de chaque année pour l'année suivante et pour un séjour continu de trois semaines au maximum, la défenderesse ayant la priorité sur les quatre semaines de vacances imposées à elle par son employeur, dates qu'elle communiquera au plus tard le 30 septembre de chaque année. Les heures de passage durant les vacances s'exerceront, sauf accord contraire entre les parties, à 18:00 heures, - s'agissant des vacances de février, une année sur deux, la première fois en 2013 et s'agissant des vacances de fin d'année civile, une année sur deux du 24 au 30 décembre lorsqu'il les a en février de l'année suivante et du 30 décembre au samedi précédent la reprise de l'école dans le cas inverse; IV. dit que le demandeur devra communiquer au moins un mois à l'avance la destination des vacances choisie lorsqu'il aura ses enfants auprès de lui, afin de permettre à la défenderesse de les joindre tous les jeudis entre 18:00 heures et 19:00 heures. Lorsque le demandeur aura ses enfants durant leurs dernières semaines de vacances, il les ramènera auprès de leur mère le vendredi précédent la reprise de l'école. dit que la défenderesse remettra au demandeur les cartes d'identité des enfants lors des vacances et des week-ends de visite. dit que le demandeur pourra joindre ses enfants au téléphone tous les jeudis entre 18:00 heures et 19:00 heures. IX. dit que la défenderesse doit payer au demandeur, dès jugement définitif et exécutoire, la somme de 3'960 fr. (trois mille neuf cent soixante francs) au titre de liquidation du régime matrimonial. déclare le régime matrimonial des époux X._ dissous et liquidé, chaque partie étant reconnue propriétaire des objets en sa possession. " C. Par acte posté le 3 février 2014, A.X._ exerce un recours en matière civile devant le Tribunal fédéral contre cet arrêt. Principalement, il conclut à la réforme de l'arrêt attaqué de la manière suivante: " I. Dire que l'autorité parentale et la garde des enfants C._, né en 2003 et D._, née en 2006, sont attribuées à A.X._; II. Dire que B.X._ jouira d'un libre et large droit de visite sur ses enfants, à exercer d'entente avec A.X._. A défaut d'entente, B.X._ pourra avoir ses enfants auprès d'elle: - un week-end sur deux du vendredi à la sortie de l'école au dimanche à 18 heures et une semaine sur deux les mercredis après-midi dès la sortie de l'école et jusqu'à 18 heures, - la moitié des vacances scolaires, en alternant les périodes, alternativement à Noël ou Nouvel an, Pâques ou Pentecôte; - les vacances de février (relâches), alternativement une année sur deux; - une année, l'un des parents aura ses enfants auprès de lui les trois premières semaines des vacances d'été, puis l'année suivante, durant les trois dernières semaines, et cela alternativement. Une fois sur deux, il appartiendra à B.X._, de venir chercher les enfants chez A.X._ et de les y ramener, et une fois sur deux, il appartiendra à A.X._ de les emmener et d'aller les chercher chez B.X._; III. Dire que B.X._ pourra joindre ses enfants par téléphone ou au moyen d'un appareil offrant la vidéo-conférence quand elle le voudra; IV. Dire que le mandat de curatelle d'assistance éducative en faveur de C._ et D._, confié à l'autorité tutélaire de G._, subsidiairement au Service de la protection de la jeunesse et des adultes de la ville de H._, est transférée au Service de protection de la jeunesse du canton de Vaud, mandat qui sera maintenu tant que l'autorité tutélaire l'estimera nécessaire; un suivi auprès de la Fondation F._ à I._ sera en outre mis en oeuvre; V. Astreindre B.X._, à contribuer à l'entretien de ses enfants par le versement d'une contribution d'entretien mensuelle, allocations familiales en sus, de: - 500 fr. par enfant jusqu'à l'âge de 12 ans; - 550 fr. par enfant depuis lors et jusqu'à l'âge de 15 ans; - 600 fr. par enfant depuis lors et jusqu'à la majorité ou l'obtention d'une formation appropriée conformément à l'art. 277 al. 2 CC. En sus des pensions précitées, B.X._ contribuera à la moitié des frais extraordinaires des enfants (lunettes, orthondontie, séjours linguistiques, etc.), pour autant que lesdits frais soient objectivement justifiés. VI. Dire que B.X._ est débitrice de A.X._ d'un montant de CHF 14'900.- (12'500.- + CHF 2'400 fr.) à titre de liquidation du régime matrimonial et lui doit immédiat paiement. Après exécution du chiffre précédent, le régime matrimonial est dissous et liquidé. Chaque partie gardant les biens actuellement en sa possession; VII. Dire que les frais de justice sont laissés à la charge de l'Etat; VIII. Dire que B.X._ est la débitrice de A.X._, à titre de dépens, d'un montant fixé à dires de justice. " Subsidiairement, il conclut à l'annulation de l'arrêt attaqué et au renvoi de la cause à l'autorité cantonale pour nouvelle décision dans le sens des considérants. Plus subsidiairement, il conclut à la réforme de l'arrêt attaqué de la manière suivante: "I. Dire que l'autorité parentale sur les enfants C._, né en 2003 et D._, née en 2006, est attribuée conjointement à A.X._ et B.X._; II. Dire que la garde sur les enfants C._, né en 2003 et D._, née en 2006, est attribuée à B.X._. Il est fait interdiction à B.X._, de fixer le domicile des enfants en dehors du territoire suisse; III. Dire que A.X._ jouira d'un libre et large droit de visite sur ses enfants, à exercer d'entente avec B.X._. A défaut d'entente, il pourra avoir ses enfants auprès de lui: - un week-end sur deux du vendredi à la sortie de l'école au dimanche à 18 heures et une semaine sur deux les mercredis après-midi dès la sortie de l'école et jusqu'à 18 heures, - la moitié des vacances scolaires, en alternant les périodes, alternativement à Noël ou Nouvel an, Pâques ou Pentecôte; - les vacances de février (relâches), alternativement une année sur deux; - une année, l'un des parents aura ses enfants auprès de lui les trois premières semaines des vacances d'été, puis l'année suivante, durant les trois dernières semaines, et cela alternativement. B.X._, remettra à A.X._ les documents d'identité et les passeports des enfants lors des vacances et des week-ends de visite auprès de celui-ci. Une fois sur deux, il appartiendra à A.X._ de venir chercher les enfants chez B.X._ et de les y ramener, et une fois sur deux, il appartiendra à B.X._ de les emmener et d'aller les chercher chez A.X._; IV. Dire que B.X._ devra permettre à A.X._ de joindre ses enfants par téléphone ou au moyen d'un appareil offrant la vidéo-conférence quand il le souhaitera, mais à tout le moins tous les lundis, mercredis et vendredis entre 17 heures et 19 heures; V. Dire que A.X._ n'est pas astreint à contribuer à l'entretien de ses enfants jusqu'à retour à meilleure fortune; VI. Dire que le mandat de curatelle d'assistance éducative en faveur de C._ et D._, confié à l'autorité tutélaire de G._, subsidiairement au Service de protection de la jeunesse et des adultes de la ville de H._, est maintenu tant que l'autorité tutélaire l'estimera nécessaire; un suivi auprès de la Fondation F._ à I._ sera en outre mis en oeuvre; VII. Dire que B.X._ est débitrice de A.X._ d'un montant de CHF 14'900.- (12'500.- + CHF 2'400 fr.) à titre de liquidation du régime matrimonial et lui doit immédiat paiement. Après exécution du chiffre précédent, le régime matrimonial est dissous et liquidé. Chaque partie gardant les biens actuellement en sa possession; VII. Dire que les frais de justice sont laissés à la charge de l'Etat; IX. Dire que B.X._ est la débitrice de A.X._, à titre de dépens, d'un montant fixé aux dires de justice." A titre de conclusions encore plus subsidiaires, le recourant répète ses conclusions subsidiaires. Le recourant réclame en outre d'être mis au bénéfice de l'assistance judiciaire. Par courrier du 7 février 2014, envoyé suite à la communication du recours, l'intimée a elle aussi requis d'être mise au bénéfice de l'assistance judiciaire. Des observations n'ont pas été requises.