Faits :
A.
A._, ressortissant français, se trouve en détention provisoire depuis le 9 février 2016 dans le cadre d'une procédure pénale instruite à son encontre par le Ministère public de l'arrondissement de La Côte pour voies de fait, diffamation, injure, utilisation abusive d'une installation de télécommunication, menaces, contrainte, séquestration et enlèvement, viol, enlèvement de mineur, insoumission à une décision de l'autorité et diverses infractions à la loi fédérale sur la circulation routière.
Il lui est notamment reproché d'avoir soustrait, le 28 décembre 2013, sa fille B._, née en juillet 2013, à sa mère D._, qui dispose de l'autorité parentale et du droit de garde sur l'enfant. Il s'en serait en outre pris physiquement et verbalement à sa compagne E._, l'aurait contrainte à subir l'acte sexuel à deux reprises, menacée, entravée dans sa liberté de mouvement et importunée par téléphone; il n'aurait pas davantage respecté des interdictions d'approcher l'intéressée ordonnées par la justice civile. Il aurait enfin tenté de soustraire par la force, le 4 février 2016, son fils C._, né en juillet 2015, à sa mère E._, qui détient l'autorité parentale et le droit de garde sur l'enfant.
La détention provisoire de A._ a été prolongée à plusieurs reprises; la décision de prolongation rendue le 7 juillet 2016 par le Tribunal des mesures de contrainte du canton de Vaud (Tmc) a été confirmée successivement par la Chambre des recours pénale du Tribunal cantonal (ci-après: le Tribunal cantonal), puis par le Tribunal fédéral (arrêt 1B_236/2016 du 29 août 2016).
B.
L'intéressé a été soumis à une expertise psychiatrique. Dans leur rapport du 30 juin 2016, les experts ont retenu que A._ souffrait d'un grave trouble de la personnalité psychotique; l'expertisé était en outre anosognosique. Il existait un risque de récidive d'actes illicites de même nature que ceux qui lui étaient reprochés. Dans le but de diminuer ce risque, les experts préconisaient un suivi ambulatoire dans un service de psychiatrie légale ou au sein d'une consultation spécialisée dans la maltraitance, afin de juguler les aspects délirants de son trouble et modifier sa manière d'être dysfonctionnelle dans le cadre de ses relations intimes et avec ses enfants. Un rapport d'expertise psychiatrique complémentaire a été déposé le 15 septembre 2016.
C.
Par ordonnance du 3 octobre 2016, le Tmc a rejeté une demande de mise en liberté formée par A._. Le Tribunal cantonal a confirmé cette décision, par arrêt du 19 octobre 2016; en substance, il a retenu qu'il existait des charges suffisantes à l'encontre du prévenu, ainsi qu'un risque de récidive qu'aucune mesure de substitution ne permettait de pallier.
D.
Agissant par la voie du recours en matière pénale, A._ demande au Tribunal fédéral de réformer l'arrêt cantonal en ce sens qu'il est libéré immédiatement. Subsidiairement, il conclut à ce que des mesures de substitution soient ordonnées en lieu et place de la détention provisoire (traitement ambulatoire auprès du Service de médecine et psychiatrie pénitentiaires [SMPP]; interdiction de se rendre à Vallorbe, d'approcher et d'entrer en contact avec E._, D._ ainsi que ses enfants, exception faite lors des visites prévues par la justice civile). Il requiert en outre l'assistance judiciaire.
Le Tribunal cantonal et le Ministère public se réfèrent aux considérants de l'arrêt entrepris, sans autres observations.

Considérant en droit :
1.
Le recours en matière pénale (<ref-law>) est ouvert contre une décision relative à la détention provisoire ou pour des motifs de sûreté au sens des <ref-law>. Formé en temps utile (<ref-law>) contre une décision prise en dernière instance cantonale (<ref-law>) et qui touche le recourant dans ses intérêts juridiquement protégés (art. 81 al. 1 let. a et b ch. 1 LTF), le recours en matière pénale est recevable.
2.
Le recourant soulève le grief de constatation arbitraire des faits.
2.1. Le Tribunal fédéral fonde son raisonnement sur les faits retenus par l'autorité précédente (<ref-law>), sauf s'ils ont été établis de façon manifestement inexacte - notion qui correspond à celle d'arbitraire au sens de l'art. 9 Cst. (<ref-ruling> consid. 2.3 p. 266; <ref-ruling> consid. 4.1.2 p. 62) - ou en violation du droit au sens de l'<ref-law> (<ref-law>). Si le recourant entend s'écarter des constatations de fait de l'autorité précédente, il doit expliquer de manière circonstanciée en quoi les conditions de l'<ref-law> seraient réalisées et la correction du vice susceptible d'influer sur le sort de la cause (<ref-law>; ATF <ref-ruling> consid. 4.1.2 p. 62). A défaut, il n'est pas possible de tenir compte d'un état de fait divergent de celui qui est contenu dans l'acte attaqué. En particulier, le Tribunal fédéral n'entre pas en matière sur des critiques de type appellatoire portant sur l'état de fait ou sur l'appréciation des preuves (<ref-ruling> consid. 10.1 p. 444 s.; <ref-ruling> consid. 5.1 p. 356 et les arrêts cités).
2.2. A l'appui de son grief, le recourant prétend que l'instance précédente aurait retenu à tort qu'il ne disposait pas de l'autorité parentale sur sa fille et qu'il avait l'interdiction d'approcher son fils en dehors de son droit de visite au Point de rencontre. L'arrêt entrepris mentionnerait par ailleurs uniquement le fait qu'il aurait indiqué à ses proches qu'il n'enlèverait jamais ses enfants car ils avaient besoin de lui, alors qu'il aurait aussi précisé que son fils avait également besoin de sa mère. Enfin, l'instance précédente aurait exposé à tort qu'il avait été appréhendé le 9 février 2016 alors qu'il se serait rendu spontanément à la convocation du Ministère public.
En l'occurrence, le recourant se contente d'opposer son propre exposé des faits à ceux retenus par l'instance précédente, sans démontrer en quoi ceux-ci seraient arbitraires. Il ne précise en particulier pas sur quelles pièces du dossier il s'appuierait. Enfin, il ne démontre pas en quoi ces éléments de fait seraient susceptibles d'influer sur le sort de la cause. L a critique du recourant, de caractère purement appellatoire, ne satisfait dès lors manifestement pas aux exigences minimales de motivation rappelées ci-dessus et doit donc être déclarée irrecevable.
3.
Le recourant conteste l'existence de forts soupçons de culpabilité à son encontre.
3.1. Une mesure de détention préventive n'est compatible avec la liberté personnelle (art. 10 al. 2 Cst. et 5 CEDH) que si elle repose sur une base légale (art. 31 al. 1 et art. 36 al. 1 Cst.), soit en l'espèce l'<ref-law>. Elle doit en outre correspondre à un intérêt public et respecter le principe de la proportionnalité (art. 36 al. 2 et 3 Cst.; <ref-law>). Pour que tel soit le cas, la privation de liberté doit être justifiée par les besoins de l'instruction, un risque de fuite ou un danger de collusion ou de réitération (art. 221 al. 1 let. a, b et c CPP).
Pour qu'une personne soit placée et maintenue en détention provisoire, il doit tout d'abord exister à son égard des charges suffisantes, soit de sérieux soupçons de culpabilité, c'est-à-dire des raisons plausibles de la soupçonner d'avoir commis une infraction (<ref-law>; art. 5 § 1 let. c CEDH). Il n'appartient cependant pas au juge de la détention de procéder à une pesée complète des éléments à charge et à décharge et d'apprécier la crédibilité des personnes qui mettent en cause le prévenu. L'autorité doit uniquement examiner s'il existe des indices sérieux de culpabilité justifiant une telle mesure. L'intensité des charges propres à motiver un maintien en détention provisoire n'est pas la même aux divers stades de l'instruction pénale; si des soupçons, même encore peu précis, peuvent être suffisants dans les premiers temps de l'enquête, la perspective d'une condamnation doit apparaître vraisemblable après l'accomplissement des actes d'instruction envisageables (<ref-ruling> consid. 3.1 p. 126).
3.2. En l'espèce, le Tribunal cantonal a jugé qu'il existait des soupçons de culpabilité suffisants à l'encontre du recourant, notamment en lien avec l'enlèvement de son fils le 4 février 2016. Il a relevé que si le déroulement de cet événement n'était pas clair, il était survenu après le précédent enlèvement de sa fille le 28 décembre 2013 et alors que le prévenu avait l'interdiction d'approcher son fils en dehors de son droit de visite au Point Rencontre. Les déclarations des témoins - auxquelles le prévenu se référaient - ne modifiaient pas cette appréciation. L'instance précédente relevait encore que le prévenu avait reconnu avoir persisté à entrer en contact avec E._ jusqu'en décembre 2015 et avoir harcelé et importuné D._ malgré les interdictions d'entrer en contact avec celles-ci signifiées par le Procureur et la justice civile.
Le recourant conteste en vain l'appréciation du Tribunal cantonal. En lien avec les événements du 4 février 2016, il se contente d'affirmer qu'il "n'a vraisemblablement jamais tenté d'enlever son enfant" et renvoie pour le surplus à son recours cantonal. Cette manière de procéder - qui ne prend nullement appui sur la motivation de la décision entreprise - est irrecevable (cf. art. 42 al. 1 et 2 LTF; <ref-ruling> consid. 2.8.1 p. 54 et les arrêts cités). Cela étant, les indices de culpabilité à l'encontre du recourant ne se fondent pas que sur cet épisode. En effet, l'intéressé ne remet pas en cause l'enlèvement de sa fille survenu en décembre 2013, dont il minimise toutefois la gravité; il est à cet égard sans pertinence que le prévenu n'ait pas été mis en détention en 2013 en raison de cet événement. Le recourant admet en outre également avoir violé l'interdiction de contacter les mères de ses deux enfants. Enfin, quoi qu'en pense le recourant, les déclarations de E._ au sujet d'actes de violence qu'il aurait commis constituent également des indices de culpabilité à son encontre, nonobstant le fait qu'ils seraient en procès au sujet de la garde de leur enfant commun.
C'est dès lors à juste titre que la cour cantonale a considéré qu'il existait des charges suffisantes pour justifier le maintien en détention du recourant, étant rappelé que c'est au juge du fond et non à celui de la détention qu'il incombera d'apprécier la culpabilité de l'intéressé ainsi que la valeur probante des déclarations des différentes parties.
4.
Le recourant nie enfin tout risque de récidive.
4.1. L'art. 221 al. 1 let. c CPP pose trois conditions pour admettre un risque de récidive. En premier lieu, le prévenu doit en principe déjà avoir commis des infractions du même genre (pour une exception à cette exigence, cf. <ref-ruling> consid. 3 et 4 p. 18) et il doit s'agir de crimes ou de délits graves. Deuxièmement, la sécurité d'autrui doit être sérieusement compromise. Troisièmement, une réitération doit, sur la base d'un pronostic, être sérieusement à craindre.
La gravité de l'infraction dépend, outre de la peine menace prévue par la loi, de la nature du bien juridique menacé et du contexte, notamment la dangerosité présentée concrètement par le prévenu, respectivement son potentiel de violence. La mise en danger sérieuse de la sécurité d'autrui par des crimes ou des délits graves peut en principe concerner tous types de biens juridiquement protégés. Ce sont en premier lieu les délits contre l'intégrité corporelle et sexuelle qui sont visés. Dans ce contexte, il faut se montrer plus sévère à l'égard des infractions commises contre des personnes nécessitant une protection particulière, notamment les enfants. Pour établir le pronostic de récidive, les critères déterminants sont la fréquence et l'intensité des infractions poursuivies. Cette évaluation doit prendre en compte une éventuelle tendance à l'aggravation telle qu'une intensification de l'activité délictuelle, une escalade de la violence ou une augmentation de la fréquence des agissements. Les caractéristiques personnelles du prévenu doivent en outre être évaluées. Lorsqu'on dispose d'une expertise psychiatrique ou d'un pré-rapport, il y a lieu d'en tenir compte.
En général, la mise en danger de la sécurité d'autrui est d'autant plus grande que les actes redoutés sont graves. En revanche, le rapport entre gravité et danger de récidive est inversement proportionnel. Cela signifie que plus l'infraction et la mise en danger sont graves, moins les exigences seront élevées quant au risque de réitération. Lorsque la gravité des faits et leurs incidences sur la sécurité sont particulièrement élevées, on peut ainsi admettre un risque de réitération à un niveau inférieur. Il demeure qu'en principe, le risque de récidive ne doit être admis qu'avec retenue comme motif de détention. Dès lors, un pronostic défavorable est nécessaire (et en principe également suffisant) pour admettre l'existence d'un tel risque (arrêt 1B_373/2016 du 23 novembre 2016 destiné à la publication, consid. 2).
4.2. Dans l'arrêt entrepris, le Tribunal cantonal s'est intégralement référé aux considérants développés dans son arrêt du 19 juillet 2016 qui conservaient, à ses yeux, toute leur pertinence. Ainsi, l'instance précédente relevait que le recourant avait commis de nouveaux agissements en cours d'enquête, alors qu'il faisait déjà l'objet d'une instruction pénale en raison d'une multitude d'actes délictueux commis au préjudice des mères de ses deux enfants, sur une période relativement longue. Elle précisait en outre que le prévenu avait poursuivi ses agissements malgré les mises en garde formelles du procureur; elle ajoutait que son absence de respect des décisions de justice ne plaidait pas non plus en sa faveur. Enfin, l'expertise psychiatrique retenait que le prévenu présentait un risque de réitération d'actes illicites de même nature que ceux qui lui étaient reprochés.
L'appréciation du Tribunal cantonal n'apparaît pas critiquable et l'on peut s'y référer. Contrairement à ce qu'affirme le recourant, cette autorité ne s'est pas fondée sur le fait qu'il aurait persisté à envoyer des lettres d'amour à sa compagne en dépit de l'interdiction de prendre contact avec celle-ci qui lui avait été notifiée. Elle s'est avant tout basée sur les actes de violence commis de manière réitérée à l'encontre des mères de ses deux enfants, ainsi que sur le rapport d'expertise retenant un risque de réitération. La critique du recourant doit donc être rejetée.
4.3. Conformément au principe de la proportionnalité (art. 36 al. 3 Cst.), il convient d'examiner les possibilités de mettre en oeuvre d'autres solutions moins dommageables que la détention (règle de la nécessité). Cette exigence est concrétisée par l'<ref-law>, qui prévoit que le tribunal compétent ordonne une ou plusieurs mesures moins sévères en lieu et place de la détention provisoire ou de la détention pour des motifs de sûreté si ces mesures permettent d'atteindre le même but que la détention. Selon l'<ref-law>, font notamment partie des mesures de substitution, l'interdiction de se rendre dans un certain lieu (let. c), l'obligation de se soumettre à un traitement médical ou à des contrôles (let. f) et l'interdiction d'entretenir des relations avec certaines personnes (let. g).
En l'espèce, le recourant se prévaut du fait qu'il bénéficierait depuis le mois de septembre 2016 d'un suivi ambulatoire tel que préconisé par les experts. Il ne produit cependant aucun document médical concernant ledit suivi, alors que l'instance précédente a retenu qu'il n'avait toujours pas de suivi régulier et précis susceptible de parer efficacement au risque de récidive. Cela étant, les experts préconisent certes un suivi psychothérapeutiq ue légal ambulatoire spécialisé dans la maltraitance afin de diminuer le risque de récidive; ils soulignent toutefois que ce suivi va être particulièrement difficile compte tenu des dimensions délirantes du recourant et de la totale anosognosie de son trouble (cf. rapport d'expertise p. 18). Les experts précisent encore que, compte tenu de sa pathologie, le potentiel de dangerosité dont il fait preuve ne doit pas être banalisé (cf. rapport d'expertise p. 18). Il ressort de ces considérations que l'efficacité du traitement prescrit ne serait en tout cas pas immédiate; tant que des résultats tangibles n'auront pas été constatés du point de vue de la diminution du risque de récidive, une libération apparaît prématurée. Enfin, l'interdiction de se rendre à Vallorbe, ainsi que de prendre contact avec ses enfants - hormis les visites prévues par la justice civile - et leur mère ne constitue pas une mesure suffisante, au vu des violations de normes et d'injonctions commises précédemment par l'intéressé.
Dans ces conditions, l'instance précédente n'a pas violé le droit fédéral en considérant que les mesures de substitution proposées par l'intéressé n'étaient pas propres à limiter de façon déterminante le risque de réitération.
5.
Il s'ensuit que le recours est rejeté, dans la mesure de sa recevabilité. Le recourant a demandé l'assistance judiciaire et les conditions en paraissent réunies (<ref-law>). Il y a lieu de désigner Me Martin Brechbühl en qualité d'avocat d'office et de fixer ses honoraires, qui seront supportés par la caisse du Tribunal fédéral (<ref-law>). Le recourant est en outre dispensé des frais judiciaires (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
La demande d'assistance judiciaire est admise; Me Martin Brechbühl est désigné comme avocat d'office du recourant et une indemnité de 1'500 fr. lui est allouée à titre d'honoraires, à payer par la caisse du Tribunal fédéral. Il n'est pas perçu de frais judiciaires.
3.
Le présent arrêt est communiqué au mandataire du recourant, au Ministère public central et au Tribunal cantonal du canton de Vaud, Chambre des recours pénale, ainsi que, pour information, à Me Loïc Parein pour E._ et à Me Olivier Boschetti pour D._.
Lausanne, le 20 décembre 2016
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président : Fonjallaz
La Greffière : Arn