Faits :
A.
Le 22 mars 2019, le Ministère public de l'arrondissement de La Côte a ouvert une instruction pénale contre A._, ressortissant du Sri Lanka, pour menaces qualifiées (art. 180 al. 1 et 2 let. a CP). Il lui est reproché d'avoir menacé sa femme de la tuer, en pointant un couteau dans sa direction, à deux reprises. Il lui est aussi fait grief d'avoir menacé son fils de 17 ans en lui disant que s'il ne trouvait pas de place d'apprentissage, il allait le tuer ainsi que sa soeur et sa mère, puis se suicider.
Le 3 avril 2019, l'épouse et le fils de A._ ont retiré les plaintes pénales qu'ils avaient déposées contre ce dernier le 21 mars 2019.
En octobre 2016, le prénommé avait déjà fait l'objet d'une enquête pénale à la suite de violences domestiques. Il lui était reproché d'avoir frappé son épouse avec un bâton et d'avoir menacé de détruire le mobilier familial avec une hache; l'épouse ayant donné son accord à une suspension provisoire de la procédure sans la révoquer après une période de six mois, la procédure s'était soldée par une ordonnance de classement.
Par ordonnance du 23 mars 2019, le Tribunal des mesures de contrainte du canton de Vaud (Tmc) a ordonné la détention provisoire de A._ pour une durée de trois mois, pour risques de réitération et de collusion. Par la suite, la détention provisoire a été régulièrement prolongée par cette autorité, en dernier lieu par ordonnance du 16 octobre 2019 pour une durée de trois mois, soit jusqu'au 21 janvier 2020.
Par arrêt du 1 er novembre 2019, la Chambre des recours pénale du Tribunal cantonal du canton de Vaud (ci-après: le Tribunal cantonal) a rejeté le recours déposé par l'intéressé contre l'ordonnance du 16 octobre 2019. En substance, la cour cantonale a considéré que les charges étaient suffisantes, que des risques de collusion, de récidive et de passage à l'acte existaient qu'aucune mesure de substitution ne pouvait pallier et que le principe de la proportionnalité était respecté.
B.
Agissant par la voie du recours en matière de droit pénal, A._ demande principalement au Tribunal fédéral de réformer l'arrêt du 1 er novembre 2019, en ce sens que sa libération immédiate est ordonnée. Il conclut subsidiairement à l'annulation de l'arrêt du 1 er novembre 2019 et au renvoi de la cause à l'instance précédente pour nouvelle instruction et décision au sens des considérants. Il requiert aussi l'assistance judiciaire.
Le Ministère public de l'arrondissement de La Côte et le Tribunal cantonal renoncent à se déterminer et se réfèrent à l'arrêt attaqué.

Considérant en droit :
1.
Le recours en matière pénale (<ref-law>) est ouvert contre une décision relative à la détention provisoire ou à la détention pour des motifs de sûreté au sens des <ref-law>. Selon l'art. 81 al. 1 let. a et b ch. 1 LTF, le recourant, prévenu détenu, a qualité pour recourir. Le recours a été formé en temps utile (<ref-law>) contre une décision prise en dernière instance cantonale (<ref-law>) et les conclusions présentées sont recevables au regard de l'<ref-law>. Il y a donc lieu d'entrer en matière.
2.
Une mesure de détention provisoire ou pour des motifs de sûreté n'est compatible avec la liberté personnelle (art. 10 al. 2 Cst. et 5 CEDH) que si elle repose sur une base légale (art. 31 al. 1 et 36 al. 1 Cst.), soit en l'espèce l'<ref-law>. Elle doit en outre correspondre à un intérêt public et respecter le principe de la proportionnalité (art. 36 al. 2 et 3 Cst.; art. 212 al. 3 et 237 al. 1 CPP). Pour que tel soit le cas, la privation de liberté doit être justifiée par les besoins de l'instruction, un risque de fuite ou un danger de collusion ou de réitération (cf. art. 221 al. 1 let. a, b et c CPP).
Préalablement à ces conditions, il doit exister des charges suffisantes, soit de sérieux soupçons de culpabilité, à l'égard de l'intéressé (<ref-law>; art. 5 par. 1 let. c CEDH), c'est-à-dire des raisons plausibles de le soupçonner d'avoir commis une infraction. Il n'appartient cependant pas au juge de la détention de procéder à une pesée complète des éléments à charge et à décharge et d'apprécier la crédibilité des personnes qui mettent en cause le prévenu. Il doit uniquement examiner s'il existe des indices sérieux de culpabilité justifiant une telle mesure. L'intensité des charges propres à motiver un maintien en détention préventive n'est pas la même aux divers stades de l'instruction pénale; si des soupçons, même encore peu précis, peuvent être suffisants dans les premiers temps de l'enquête, la perspective d'une condamnation doit apparaître vraisemblable après l'accomplissement des actes d'instruction envisageables (<ref-ruling> consid. 3.1 et 3.2 p. 318).
3.
Le recourant ne nie pas l'existence de charges suffisantes à son encontre. Il conteste en revanche tous risques de collusion, de réitération et de passage à l'acte. Il se plaint aussi à cet égard d'un déni de justice formel, au motif que l'instance précédente ne se serait pas prononcée sur le risque de réitération (art. 29 al. 2 Cst.).
Si de tels risques devaient toutefois être retenus, il requiert la mise en oeuvre de mesures de substitution au sens de l'<ref-law>.
3.1. En vertu de l'art. 221 al. 1 let. c CPP, la détention provisoire peut être ordonnée lorsqu'il y a sérieusement lieu de craindre que le prévenu "compromette sérieusement la sécurité d'autrui par des crimes ou des délits graves après avoir déjà commis des infractions du même genre". Cette disposition pose trois conditions pour admettre un risque de récidive. En premier lieu, le prévenu doit en principe déjà avoir commis des infractions du même genre et il doit s'agir de crimes ou de délits graves. Deuxièmement, la sécurité d'autrui doit être sérieusement compromise. Troisièmement, une réitération doit, sur la base d'un pronostic, être sérieusement à craindre (<ref-ruling> consid. 2.5 p. 14).
Bien qu'une application littérale de l'art. 221 al. 1 let. c CPP suppose l'existence d'antécédents, le risque de réitération peut être également admis dans des cas particuliers alors qu'il n'existe qu'un antécédent, voire aucun dans les cas les plus graves. La prévention du risque de récidive doit en effet permettre de faire prévaloir l'intérêt à la sécurité publique sur la liberté personnelle du prévenu (<ref-ruling> consid. 3-4 p. 18). Le risque de récidive peut également se fonder sur les infractions faisant l'objet de la procédure pénale en cours, si le prévenu est fortement soupçonné - avec une probabilité confinant à la certitude - de les avoir commises (<ref-ruling> consid. 2.3.1 p. 12).
La gravité de l'infraction dépend, outre de la peine menace prévue par la loi, de la nature du bien juridique menacé et du contexte, notamment la dangerosité présentée concrètement par le prévenu, respectivement son potentiel de violence. La mise en danger sérieuse de la sécurité d'autrui par des crimes ou des délits graves peut en principe concerner tous types de biens juridiquement protégés. Ce sont en premier lieu les délits contre l'intégrité corporelle et sexuelle qui sont visés. Dans ce contexte, il y a lieu de tenir compte du besoin de protection spécifique propre à certains groupes de personnes, tels que les enfants (<ref-ruling> consid. 2.7 p. 15).
Pour établir le pronostic de récidive, les critères déterminants sont la fréquence et l'intensité des infractions poursuivies. Cette évaluation doit prendre en compte une éventuelle tendance à l'aggravation telle qu'une intensification de l'activité délictuelle, une escalade de la violence ou une augmentation de la fréquence des agissements. Les caractéristiques personnelles du prévenu doivent en outre être évaluées (<ref-ruling> consid. 3.2 p. 13; <ref-ruling> consid. 3.2 p. 86).
En général, la mise en danger de la sécurité d'autrui est d'autant plus grande que les actes redoutés sont graves. En revanche, le rapport entre gravité et danger de récidive est inversement proportionnel. Cela signifie que plus l'infraction et la mise en danger sont graves, moins les exigences seront élevées quant au risque de réitération. Lorsque la gravité des faits et leurs incidences sur la sécurité sont particulièrement élevées, on peut ainsi admettre un risque de réitération à un niveau inférieur. Il demeure qu'en principe le risque de récidive ne doit être admis qu'avec retenue comme motif de détention. Dès lors, un pronostic défavorable est nécessaire (et en principe également suffisant) pour admettre l'existence d'un tel risque (<ref-ruling> consid. 2.9 p. 17).
Enfin, l'<ref-law> permet d'ordonner la détention lorsqu'il y a lieu de craindre un passage à l'acte, même en l'absence de toute infraction préalable. Il doit s'agir d'un crime grave et non seulement d'un délit (<ref-ruling> consid. 5 p. 129). Il convient de faire preuve de retenue dans l'admission de ce risque et ne l'admettre que lorsque le pronostic est très défavorable. Il n'est toutefois pas nécessaire que la personne soupçonnée ait déjà pris des dispositions concrètes pour passer à l'exécution des faits redoutés. Il suffit que le passage à l'acte apparaisse comme hautement vraisemblable sur la base d'une appréciation globale de la situation personnelle de l'intéressé et des circonstances. En particulier en cas de menace d'infractions violentes, on doit prendre en considération l'état psychique de la personne soupçonnée, son imprévisibilité ou son agressivité (<ref-ruling> consid. 2.1.1 p. 21 s.; <ref-ruling> consid. 5 p. 129 et les réf. cit.). Plus l'infraction redoutée est grave, plus la mise en détention se justifie lorsque les éléments disponibles ne permettent pas une évaluation précise de ce risque (<ref-ruling> consid. 2.1.1 p. 22)
3.2. En l'occurrence, la cour cantonale a considéré que, même si le recourant ne s'en était jamais pris physiquement à ses enfants, une procédure avait été ouverte en 2016 contre lui pour violences conjugales, l'enquête ayant été classée en raison de l'absence de volonté de son épouse de reprendre la procédure après une suspension, et non parce que les faits qui lui étaient alors reprochés n'étaient pas établis. S'ajoutait à cela que les actes présentement en cause, dont la réalité était partiellement établie par témoin, étaient très graves, puisque le recourant aurait menacé de s'en prendre au bien juridique le plus précieux; les menaces de tuer les siens, proférées à plusieurs reprises, notamment un couteau à la main, permettaient à l'évidence de retenir à tout le moins un risque concret de passage à l'acte, même en l'absence de condamnation antérieure pour des faits de même nature. Le Tribunal cantonal a encore précisé que les conclusions orales du rapport d'expertise psychiatrique, qui devait bientôt être rendu, faisaient état d'un risque de récidive qualifié de moyen. Il a indiqué que cette appréciation pourrait être revue lorsque le rapport d'expertise aura été déposé.
Cette motivation permet de comprendre pourquoi le risque de réitération et de passage à l'acte a été retenu. Ces motifs n'ont d'ailleurs pas échappé au recourant, qui a précisément attaqué l'arrêt sur ce point en toute connaissance de cause. Cela est suffisant, sous l'angle du droit d'être entendu (art. 29 al. 2 Cst.). Le grief de déni de justice formel doit donc être écarté.
3.3. Sur le fond, les éléments avancés par la cour cantonale apparaissent suffisants pour retenir un risque concret de récidive et de passage à l'acte. L'arrêt attaqué ne prête pas le flanc à la critique sur ce point. Le recourant ne développe d'ailleurs aucune argumentation propre à le remettre en cause.
En particulier, le fait que le casier judiciaire du recourant ne comporte qu'une seule inscription pour des faits d'une toute autre nature que ceux qui lui sont reprochés dans le cadre de la présente procédure ne suffit pas à rendre inexistant le risque récidive. L'intéressé rappelle aussi qu'en 2016, il n'a pas été condamné et fait valoir la présomption d'innocence. Cette simple affirmation est toutefois insuffisante à faire admettre l'invraisemblance du risque de récidive et de passage à l'acte, ce d'autant plus que l'infraction redoutée est grave.
Ainsi, sur la base des conclusions orales du rapport d'expertise psychiatrique (en attente du rapport écrit) ainsi que du fait qu'en 2016 le recourant avait déjà fait l'objet d'une enquête pénale à la suite de violences domestiques, la cour cantonale pouvait, sans violer l'art. 221 al. 1 let. c et al. 2 CPP, admettre un risque de récidive et de passage à l'acte justifiant le maintien en détention. Comme le relève la cour cantonale, il y aura toutefois lieu de procéder à une nouvelle évaluation du risque sur le vu des conclusions de l'expert psychiatre.
3.4. Le maintien de la détention du recourant étant justifié par un risque de récidive, il n'y a pas lieu d'examiner si cette mesure s'impose aussi en raison d'un risque de collusion au sens de l'<ref-law>.
3.5. Conformément au principe de la proportionnalité (art. 36 al. 3 Cst.), il convient d'examiner les possibilités de mettre en oeuvre d'autres solutions moins dommageables que la détention (règle de la nécessité). Cette exigence est concrétisée par l'<ref-law>, qui prévoit que le tribunal compétent ordonne une ou plusieurs mesures moins sévères en lieu et place de la détention provisoire ou de la détention pour des motifs de sûreté si ces mesures permettent d'atteindre le même but que la détention. Selon l'<ref-law>, font notamment partie des mesures de substitution l'obligation de se soumettre à un traitement médical (let. f) et l'interdiction d'entretenir des relations avec certaines personnes (let. g).
En l'espèce, le recourant propose uniquement d'entamer une thérapie familiale avec son épouse et ses enfants au Centre de prévention de l'Ale. Le Tribunal cantonal a considéré à cet égard qu'il ne pouvait prononcer une mesure de substitution avant que le rapport d'expertise psychiatrique ne soit rendu, dès lors que l'on ignorait si le recourant souffrait d'un trouble mental et quel était le degré du risque de réitération évalué par les experts.
En l'état, la mesure de substitution proposée paraît insuffisante au regard de l'intensité du risque de récidive. La question de la mise en place de mesures de substitution pourra cependant être réexaminée après le dépôt de l'expertise psychiatrique, en fonction des conclusions de celle-ci.
Au demeurant, une mesure de thérapie familiale ne saurait être imposée par le juge sans avoir été proposée, du moins évaluée, par l'expert. En outre, elle ne saurait être imposée aux autres membres de la famille du prévenu, sans que ceux-ci aient été entendus à ce propos et aient donné leur accord exprès à leur participation.
4.
Le recourant se plaint enfin d'une violation du principe de proportionnalité eu égard à la détention avant jugement subie et à la peine encourue.
4.1. En vertu des art. 31 al. 3 Cst. et 5 par. 3 CEDH, toute personne qui est mise en détention préventive a le droit d'être jugée dans un délai raisonnable ou d'être libérée pendant la procédure pénale. L'<ref-law> prévoit que la détention provisoire et la détention pour des motifs de sûreté ne doivent pas durer plus longtemps que la peine privative de liberté prévisible.
Le juge peut dès lors maintenir la détention provisoire ou pour des motifs de sûreté aussi longtemps qu'elle n'est pas très proche de la durée de la peine privative de liberté à laquelle il faut s'attendre concrètement en cas de condamnation. Il convient d'accorder une attention particulière à cette limite, car il y a lieu de veiller à ce que les autorités de jugement ne prennent pas en considération dans la fixation de la peine la durée de la détention avant jugement à imputer selon l'<ref-law>. Afin d'éviter d'empiéter sur les compétences du juge du fond, le juge de la détention ne tient en principe pas compte de l'éventuel octroi, par l'autorité de jugement, d'un sursis, d'un sursis partiel ou d'une libération conditionnelle au sens de l'<ref-law> (<ref-ruling> consid. 5.1 p. 173); pour entrer en considération sur cette dernière hypothèse, son octroi doit être d'emblée évident (arrêt 1B_82/2013 du 27 mars 2013 consid. 3.2 in Pra 2013 74 543; sur l'éventuelle application de l'<ref-law> dans des cas de détention provisoire ou pour des motifs de sûreté, cf. arrêt 1B_363/2015 du 30 octobre 2015 consid. 2.4 et 2.5).
4.2. En l'espèce, la durée de la détention était d'un peu plus de sept mois au moment de l'arrêt attaqué. Au terme de la durée de la prolongation ordonnée par le Tmc, le recourant aura été incarcéré 10 mois. Le recourant soutient qu'une infraction de menace qualifiée ne saurait donner lieu à une peine privative de liberté ferme et que même dans l'hypothèse où une telle peine serait prononcée, elle ne dépasserait pas six mois.
En tant qu'il se prévaut à cet égard de peines effectivement prononcées s'agissant d'affaires prétendument similaires, en référence à des arrêts rendus par le Tribunal fédéral et par le Tribunal cantonal vaudois, il sied d'emblée de relever que toute comparaison d'une peine avec celles prononcées dans d'autres affaires s'avère délicate et hasardeuse compte tenu des nombreux paramètres entrant en ligne de compte (cf. <ref-ruling> consid. 6.3.2 p. 69; arrêt 1B_250/2019 du 14 juin 2019 consid. 5.2.2).
Si le recourant est reconnu coupable de menaces qualifiées, la peine privative de liberté encourue est de trois ans au plus (<ref-law>). Il y a donc lieu de considérer que la durée de la détention préventive déjà subie est encore compatible avec la peine privative de liberté à laquelle le recourant est exposé concrètement en cas de condamnation. Le Tribunal cantonal a ainsi correctement nié une violation du principe de la proportionnalité, étant rappelé qu'il n'y a pas lieu de tenir compte de l'éventualité de l'octroi d'un sursis. Par ailleurs, la détention ne se prolongera vraisemblablement pas au-delà de la durée admissible, dans la mesure où le Ministère public a rendu son acte d'accusation le 14 novembre 2019. Cela étant, afin d'échapper à toute critique, il appartiendra aux autorités compétentes de faire preuve de diligence pour fixer l'audience de jugement.
5.
Il s'ensuit que le recours est rejeté.
Le recourant a demandé l'octroi de l'assistance judiciaire (<ref-law>). Comme le recourant est dans le besoin et que le recours n'était pas d'emblée dénué de chances de succès, cette requête doit être admise. Il y a lieu de désigner Me Basile Casoni en tant qu'avocat d'office du recourant et de lui allouer une indemnité à titre d'honoraires, qui seront supportés par la caisse du Tribunal fédéral. Il n'est pas perçu de frais judiciaires (<ref-law>), ni alloué de dépens (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
La requête d'assistance judiciaire est admise. Me Basile Casoni est désigné comme avocat d'office du recourant et une indemnité de 1'500 fr. lui est allouée à titre d'honoraires, à payer par la caisse du Tribunal fédéral.
3.
Il n'est pas perçu de frais judiciaires.
4.
Le présent arrêt est communiqué au mandataire du recourant, au Ministère public de l'arrondissement de La Côte et au Tribunal cantonal du canton de Vaud, Chambre des recours pénale.
Lausanne, le 19 décembre 2019
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président : Chaix
La Greffière : Tornay Schaller