Faits :
A.
A.X._ (1964) et B.X._ (1975) se sont mariés en 2003. Ils ont eu deux enfants: C._ (2003) et D._ (2006).
Leur divorce a été prononcé le 24 avril 2013 par le Tribunal civil de l'arrondissement de Lausanne; la mère s'est vue attribuer l'autorité parentale exclusive sur les enfants. Ce jugement a été confirmé par arrêt de la Cour d'appel civile du Tribunal cantonal du canton de Vaud du 9 octobre 2013. Par arrêt du 6 juin 2014, le Tribunal fédéral a rejeté, dans la mesure de sa recevabilité, le recours interjeté par le père contre cette décision (cause 5A_105/2014).
B.
Le 7 novembre 2014, ensuite de l'entrée en vigueur du nouveau droit de l'autorité parentale le 1er juillet 2014, A.X._ a introduit une demande en modification du jugement de divorce, qui tendait en particulier à ce que l'autorité parentale sur les enfants soit attribuée conjointement à leurs deux parents.
Cette demande a été rejetée par jugement du 20 juillet 2017 du Tribunal civil de l'arrondissement de Lausanne. Par arrêt du 12 juin 2018, la Cour d'appel civile du Tribunal cantonal du canton de Vaud (ci-après: la Cour d'appel civile) a rejeté l'appel formé par le père contre cette décision.
C.
Agissant par mémoire du 13 juillet 2018, A.X._ exerce un recours en matière civile au Tribunal fédéral. Il conclut à l'annulation de la décision entreprise et à sa réforme, en ce sens que l'autorité parentale conjointe sur ses enfants est prononcée. Subsidiairement, il demande le renvoi de la cause à l'autorité cantonale pour nouvelle décision. Par acte du 28 juillet 2018, il demande le bénéfice de l'assistance judiciaire pour la procédure fédérale.
Il n'a pas été demandé d'observations.
Considérant en droit :
1.
Le recours est dirigé contre une décision finale (art. 90 LTF), prise par un tribunal cantonal supérieur statuant sur recours (art. 75 al. 1 et 2 LTF), dans une affaire civile (art. 72 al. 1 LTF). Le litige porte sur l'attribution de l'autorité parentale, de sorte qu'il s'agit d'une affaire non pécuniaire. Le recours a été interjeté en temps utile (art. 100 al. 1 LTF) et en la forme prévue par la loi (art. 42 LTF), par une partie qui a pris part à la procédure devant l'autorité précédente (art. 76 al. 1 let. a LTF) et a un intérêt digne de protection à l'annulation ou à la modification de la décision attaquée (art. 76 al. 1 let. b LTF). Il est donc en principe recevable au regard des dispositions qui précèdent.
2.
2.1. Le recours en matière civile peut être formé pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (art. 106 al. 1 LTF), sans être lié ni par les motifs de l'autorité précédente, ni par les moyens des parties; il peut donc admettre le recours en se fondant sur d'autres motifs que ceux invoqués par le recourant, comme il peut le rejeter en opérant une substitution de motifs (ATF 143 V 19 consid. 2.3; 140 III 86 consid. 2). Cela étant, eu égard à l'exigence de motivation contenue à l'art. 42 al. 1 et 2 LTF, il n'examine en principe que les griefs soulevés; il n'est pas tenu de traiter, à l'instar d'une autorité de première instance, toutes les questions juridiques pouvant se poser, lorsque celles-ci ne sont plus discutées devant lui (ATF 140 III 86 consid. 2; 137 III 580 consid. 1.3; 135 III 397 consid. 1.4). En outre, le Tribunal fédéral ne connaît de la violation de droits fondamentaux ou de dispositions de droit cantonal que si un tel grief a été invoqué et motivé par le recourant (" principe d'allégation ", art. 106 al. 2 LTF; ATF 139 I 229 consid. 2.2; 137 II 305 consid. 3.3; 135 III 232 consid. 1.2, 397 consid. 1.4 in fine), c'est-à-dire s'il a été expressément soulevé et exposé de façon claire et détaillée (ATF 141 I 36 consid. 1.3; 135 III 232 précité; 133 II 249 consid. 1.4.2).
2.2. Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF); le recourant ne peut critiquer les constatations de fait que si elles ont été établies de façon manifestement inexacte ou en violation du droit au sens de l'art. 95 LTF, et si la correction du vice est susceptible d'influer sur le sort de la cause (art. 97 al. 1 LTF). Le recourant qui entend se plaindre d'un établissement manifestement inexact - c'est-à-dire arbitraire (art. 9 Cst.; ATF 137 I 58 consid. 4.1.2; 135 III 127 consid. 1.5) - des faits doit se conformer au principe d'allégation sus-indiqué (cf. supra consid. 2.1), étant rappelé que l'appréciation des preuves ne se révèle arbitraire que si le juge n'a manifestement pas compris le sens et la portée d'un moyen de preuve, s'il a omis, sans raison sérieuse, de tenir compte d'une preuve propre à modifier la décision attaquée ou encore si, sur la base des éléments recueillis, il a effectué des déductions insoutenables (ATF 136 III 552 consid. 4.2, avec la jurisprudence citée); les critiques appellatoires sont irrecevables (ATF 140 III 264 consid. 2.3 et les arrêts cités).
2.3. Lorsque l'autorité cantonale dispose d'un pouvoir d'appréciation, le Tribunal fédéral ne revoit en principe qu'avec réserve sa décision prise en équité. Il intervient lorsque celle-ci s'écarte sans raison des règles établies par la jurisprudence en matière de libre appréciation, ou lorsqu'elle s'appuie sur des faits qui, dans le cas particulier, ne devaient jouer aucun rôle, ou à l'inverse, lorsqu'elle n'a pas tenu compte d'éléments qui auraient absolument dû être pris en considération; il sanctionne en outre les décisions rendues en vertu d'un pouvoir d'appréciation lorsqu'elles aboutissent à un résultat manifestement injuste ou à une inéquité choquante (ATF 135 III 121 consid. 2; 133 III 201 consid. 5.4).
3.
L'autorité de première instance a retenu que le conflit parental demeurait aussi exacerbé qu'il l'était au moment du divorce, où il avait été retenu que les tensions étaient telles qu'elles s'avéraient de nature à mettre le développement des enfants en danger, les parties étant notamment incapables de prendre des décisions communes les concernant. En outre, l'exercice des relations personnelles du père sur ses enfants avait posé de nombreuses difficultés depuis l'attribution de l'autorité parentale exclusive à la mère. Diverses mesures avaient été tentées, notamment dans le cadre de la curatelle d'assistance éducative instituée en faveur des enfants, toutefois sans succès. La collaboration du père était toujours restée insuffisante, celui-ci ne suivant pas les instructions de l'autorité de protection de l'enfant, ni le cadre fixé. Il n'avait de surcroît entrepris aucune démarche pour reprendre le droit de visite lorsqu'il en avait été exhorté. En définitive, les premiers juges ont considéré qu'il se justifiait de maintenir, dans l'intérêt des enfants, l'attribution de l'autorité parentale exclusive à la mère.
La Cour d'appel civile a confirmé l'analyse des premiers juges, qu'elle a qualifiée de convaincante. Contrairement à ce que soutenait le père, les éléments au dossier décrivaient une situation de conflit préoccupante et un manque de coopération patent de sa part.
En particulier, il était établi que celui-ci était inadéquat dans l'exercice de son droit aux relations personnelles et incapable de se conformer aux décisions de l'autorité, mettant si gravement en danger l'équilibre psychologique des enfants qu'il avait fallu suspendre le droit de visite. Le père, qui paraissait vouloir renouer des liens avec ses enfants, avait depuis lors entrepris des démarches tendant à l'instauration d'une curatelle d'assistance éducative concernant l'exercice de son droit de visite. Les enfants avaient été entendus en début d'année par l'autorité neuchâteloise de protection et avaient tous deux déclaré ne pas souhaiter reprendre le droit de visite mais être d'accord de faire une activité ponctuelle avec leur père si celui-ci le leur proposait. Les enfants avaient ainsi rencontré leur père et leur demi-frère à deux reprises à tout le moins depuis le début de l'année et les retrouvailles paraissaient s'être bien déroulées. Cela étant, si l'on devait encourager les démarches du père tendant à la reprise des relations personnelles, force était de constater, en ce qui concernait l'autorité parentale, qu'il ne démontrait nullement que la situation exposée en 2015-2016 serait obsolète comme il le prétendait et que les choses auraient depuis lors changé. L'autorité cantonale a ajouté qu'en l'état, on ne voyait pas en quoi le bien des enfants commanderait l'exercice de l'autorité parentale conjointe, alors que ceux-ci ne souhaitaient pas reprendre le droit de visite, qui constituerait selon l'autorité de protection un facteur de stress important et une souffrance pour les deux enfants. En tout cas, l'instruction n'avait pas permis d'établir une amélioration durable de la relation entre les parents, qui témoignerait de leur capacité à communiquer désormais entre eux à propos des enfants et commanderait le rétablissement de l'autorité parentale conjointe dans l'intérêt bien compris de ceux-ci. Au contraire, la multiplication des procédures par le père avaient fait naître chez la mère un fort ressentiment qui ne laissait guère augurer d'un apaisement du conflit parental. Dans la mesure où l'on ne discernait aucune collaboration entre les parents donnant à penser qu'ils seraient désormais en mesure de prendre ensemble les décisions dont ils doivent en principe se charger, l'autorité parentale conjointe ne faisait pas de sens et l'attribution de l'autorité parentale exclusive à la mère demeurait pleinement justifiée.
4.
Le recourant fait valoir une constatation arbitraire (art. 9 Cst.) des faits, exposant qu'il était insoutenable de retenir qu'il avait ouvert de nouvelles procédures visant à modifier son droit de visite ou à en redessiner le cadre, au détriment du bien-être des enfants. Il affirme que sur la base du dossier, il fallait constater qu'il avait tenté de conserver des contacts étroits avec ses enfants et avait collaboré avec les services de protection de l'enfant. Il ajoute avoir tenté, certes par des moyens judiciaires, d'assurer les relations personnelles avec ses enfants, et qu'il s'agirait de comprendre ses démarches en ce sens. Force est de constater que par sa critique, le recourant s'écarte de manière appellatoire des faits retenus dans l'arrêt attaqué. En particulier, il ne démontre pas en quoi ces constatations seraient insoutenables au regard des preuves recueillies, se limitant à affirmer que tel serait le cas et de faire valoir sa propre appréciation de la cause. Le grief est ainsi irrecevable (cf. supra consid. 2.2), de sorte que le Tribunal fédéral se fondera exclusivement sur les faits qui ressortent de l'arrêt cantonal.
5.
Le recourant se plaint d'une atteinte à la vie privée et familiale garantie par les art. 13 et 14 Cst. et d'une violation des art. 8 et 14 CEDH. Il omet cependant que le Tribunal fédéral ne connaît de la violation de droits fondamentaux que si un tel grief a été exposé de façon claire et détaillée (cf. supra consid. 2.1), condition qui n'est ici à l'évidence pas remplie.
6.
Le recourant fait valoir une violation des art. 296 al. 2 et 298 CC.
6.1. En substance, il expose que l'autorité cantonale s'est limitée à constater que l'exercice de son droit de visite était problématique, sans examiner concrètement si les parties se trouvaient dans l'impossibilité de communiquer à propos des questions relevant de l'autorité parentale. Il ajoute qu'aucun élément du dossier ne permettrait de retenir l'existence d'un conflit en dehors de la question du droit de visite, question qui ne serait pas pertinente s'agissant de l'attribution de l'autorité parentale. Le recourant rappelle que l'autorité parentale conjointe ne suppose pas nécessairement que le droit de visite se déroule sans difficultés, et affirme que dans le cas d'espèce, l'intérêt des enfants commande que leurs deux parents puissent se prononcer sur les questions importantes qui les concernent. En définitive, il conteste que l'attribution de l'autorité parentale exclusive à la mère puisse améliorer la situation des enfants et être dans leur intérêt.
6.2. L'art. 12 al. 4 Tit. fin. CC dispose que si l'autorité parentale n'appartient qu'à l'un des parents lors de l'entrée en vigueur de la modification du 21 juin 2013 (RO 2014 357) l'autre parent peut, dans le délai d'une année à compter de l'entrée en vigueur du nouveau droit - soit jusqu'au 30 juin 2015 -, s'adresser à l'autorité compétente pour lui demander de prononcer l'autorité parentale conjointe. L'art. 298b CC est applicable par analogie. Au-delà de ce délai et faute d'accord du parent titulaire de l'autorité parentale (art. 298a CC), le parent concerné devra se fonder sur des faits nouveaux importants au sens de l'art. 298d al. 1 CC pour requérir l'autorité parentale conjointe (arrêt 5A_618/2017 du 2 février 2018 consid. 3.1.1 et les références).
En l'espèce, le recourant a introduit sa demande le 7 novembre 2014, de sorte que c'est à bon droit que l'autorité précédente a réexaminé la situation sous l'angle du nouveau droit, sans exiger que des faits nouveaux et importants, au sens de l'art. 298d al. 1 CC, ne soient survenus.
6.3. L'autorité parentale conjointe est la règle depuis l'entrée en vigueur des nouvelles dispositions du Code civil relatives à l'autorité parentale, ce indépendamment de l'état civil des parents (art. 296 al. 2, 298a al. 1, 298b al. 2 et 298d al. 1 CC; ATF 142 III 1 consid. 3.3, 56 consid. 3). Il n'est qu'exceptionnellement dérogé à ce principe, lorsqu'il apparaît que l'attribution de l'autorité parentale exclusive à l'un des parents est nécessaire pour le bien de l'enfant. Une telle exception est en particulier envisageable en présence d'un conflit important et durable entre les parents ou d'une incapacité durable pour ceux-ci de communiquer entre eux à propos de l'enfant, pour autant que cela exerce une influence négative sur celui-ci et que l'autorité parentale exclusive permette d'espérer une amélioration de la situation. De simples différends, tels qu'ils existent au sein de la plupart des familles, d'autant plus en cas de séparation ou de divorce, ne constituent pas un motif d'attribution de l'autorité parentale exclusive, respectivement de maintien d'une autorité parentale exclusive préexistante (ATF 142 III 1 consid. 2.1; 141 III 472 consid. 4.3 et 4.7).
6.4. Il est certes constant que, comme le relève le recourant, les conflits entre les parents à propos du droit de visite ne constituent pas, en eux-mêmes, un critère d'attribution de l'autorité parentale (arrêts 5A_34/2017 du 4 mai 2017 consid. 4.4; 5A_455/2016 du 12 avril 2017 consid. 5; 5A_22/2016 du 2 septembre 2016 consid. 5.2). En outre, et à lui seul, le fait que les enfants ne souhaitent pas reprendre les relations personnelles avec leur père est dénué de pertinence s'agissant de la question de l'attribution de l'autorité parentale. Il n'en demeure pas moins qu'en l'espèce, selon les constatations de fait de l'autorité cantonale, aucun élément du dossier ne permet d'établir une amélioration durable de la relation entre les parents et leur capacité à communiquer désormais entre eux à propos des enfants. Le recourant fait valoir qu'au contraire, rien ne permettrait de retenir l'existence d'un conflit en dehors de la question du droit de visite; cela étant, il ne remet pas en cause le fait que la multiplication des procédures a fait naître chez son ex-épouse un fort ressentiment, élément qui plaide en défaveur d'un apaisement du conflit et qui tend à confirmer que les parents demeurent incapables de prendre, ensemble, les décisions relevant de l'autorité parentale. Dans un tel contexte, la cour cantonale pouvait admettre, sans abuser de son pouvoir d'appréciation (cf. supra consid. 2.3), que la situation n'avait pas évolué et que le conflit parental - qui existait déjà au moment du divorce - était important et durable au sens exigé par la jurisprudence (cf. supra consid. 6.3), de sorte qu'il se justifiait de maintenir l'autorité parentale exclusive en faveur de la mère, l'inverse risquant de mettre en danger le développement des enfants.
7.
Au vu de ce qui précède, le recours doit être rejeté dans la mesure de sa recevabilité, aux frais du recourant (art. 66 al. 1 LTF). Son recours étant d'emblée dénué de chances de succès, sa requête d'assistance judiciaire est rejetée (art. 64 al. 1 LTF). Il n'y a pas lieu d'octroyer une indemnité de dépens à l'intimée, qui n'a pas été invitée à déposer d'observations (art. 68 al. 2 LTF).
Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté, dans la mesure où il est recevable.
2.
La requête d'assistance judiciaire du recourant est rejetée.
3.
Les frais judiciaires, arrêtés à 1'000 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties et à la Cour d'appel civile du Tribunal cantonal du canton de Vaud.
Lausanne, le 11 mars 2019
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
Le Président : Herrmann
La Greffière : Dolivo