Faits :
A.
En août 2018, le Ministère public de l'arrondissement de la Broye et du Nord vaudois a ouvert une instruction pénale contre A._ pour lésions corporelles simples qualifiées, menaces, contrainte, séquestration et enlèvement. Il est reproché au prévenu d'avoir, le 1er août 2018, avec deux comparses attiré B._ dans une forêt, puis de l'avoir entravé et attaché, de lui avoir fait subir différents sévices corporels, en particulier des coups de fouet ainsi que des décharges électriques au moyen d'un "taser" et de l'avoir aspergé de gaz lacrymogène. Les comparses auraient ensuite contraint leur victime à monter dans un véhicule pour la conduire à l'appartement de l'un d'eux, d'où il n'aurait pu s'échapper que le lendemain.
En novembre 2018, le Ministère public a étendu l'instruction à des faits de contrainte sexuelle que A._ est soupçonné d'avoir commis en France le 21 juillet 2018 et pour lesquels les autorités françaises ont délégué les poursuites aux autorités suisses.
A._ a été libéré sous contrôle judiciaire par les autorités françaises après une garde-à-vue prolongée du 21 au 22 juillet 2018. Par ordonnance du 17 août 2018, le Tribunal des mesures de contrainte du canton de Vaud (Tmc) a ordonné la détention provisoire de l'intéressé pour une durée d'un mois. Par la suite, la détention provisoire a été régulièrement prolongée à plusieurs reprises.
Le 25 février 2019, le Ministère public a requis la prolongation de la détention provisoire de A._ pour une durée de trois mois en raison des risques de collusion et de réitération. A._ s'y est opposé et a demandé sa libération immédiate. Le Tmc a ordonné la prolongation de la détention pour une durée de trois mois, soit jusqu'au 14 juin 2019, par ordonnance du 5 mars 2019.
La Chambre des recours pénale du Tribunal cantonal du canton de Vaud a confirmé cette ordonnance sur recours du prévenu, par arrêt du 26 mars 2019. En substance, la cour cantonale a considéré que les charges étaient suffisantes, que le risque de réitération existait et que le principe de la proportionnalité était respecté.
B.
Agissant par la voie du recours en matière de droit pénal, A._ demande principalement au Tribunal fédéral de réformer l'arrêt cantonal en ce sens que l'ordonnance du 5 mars 2019 est annulée et sa libération est immédiatement ordonnée. Il demande subsidiairement la réforme de l'arrêt attaqué en ce sens que des mesures de substitution (obligation de résider à domicile avec limitation de ses déplacements, obligation de respecter les termes de sa mesure AI, interdiction d'entretenir tout contact avec les personnes en lien avec les faits survenus les 21 juillet et 1er août 2018) sont ordonnées en lieu et place de la détention provisoire. Encore plus subsidiairement, le recourant conclut à l'annulation de l'arrêt attaqué et au renvoi du dossier à l'autorité de première instance ou de seconde instance pour nouvelle décision dans le sens des considérants. Il requiert aussi l'assistance judiciaire.
Le Ministère public et le Tribunal cantonal renoncent à se déterminer et se réfèrent à l'arrêt attaqué.

Considérant en droit :
1.
Le recours en matière pénale (art. 78 al. 1 LTF) est ouvert contre les décisions relatives à la détention provisoire ou pour des motifs de sûreté au sens des art. 212 ss CPP. Formé en temps utile (art. 100 al. 1 LTF) contre une décision prise en dernière instance cantonale (art. 80 LTF) et qui touche le recourant dans ses intérêts juridiquement protégés (art. 81 al. 1 let. a et b ch. 1 LTF), le recours en matière pénale est recevable.
2.
Dans un grief d'ordre formel qu'il convient d'examiner en premier lieu, le recourant reproche au Tribunal cantonal d'avoir violé trois fois son obligation de motiver (art. 29 al. 2 Cst.).
2.1. Le droit d'être entendu consacré à l'art. 29 al. 2 Cst. implique pour l'autorité l'obligation de motiver sa décision. Il suffit que le juge mentionne, au moins brièvement, les motifs qui l'ont guidé et sur lesquels il a fondé sa décision, de manière à ce que l'intéressé puisse se rendre compte de la portée de celle-ci et l'attaquer en connaissance de cause (<ref-ruling> consid. 5.2 p. 70). L'autorité n'a pas l'obligation d'exposer et de discuter tous les faits, moyens de preuve et griefs invoqués par les parties, mais peut au contraire se limiter à l'examen des questions décisives pour l'issue du litige (<ref-ruling> consid. 4.2 p. 157). La motivation peut pour le reste être implicite et résulter des différents considérants de la décision (<ref-ruling> consid. 3.2.1 p. 565; arrêts 1C_167/2015 du 18 août 2015 consid. 3; 2C_23/2009 du 25 mai 2009 consid. 3.1, in RDAF 2009 II p. 434).
2.2. Le recourant fait d'abord grief au Tribunal cantonal de ne pas avoir mentionné les raisons pour lesquelles il a refusé les mesures de substitution. L'instance précédente a énuméré dans son état de fait les différentes mesures de substitution proposées. Elle en a donc pris connaissance. Même si l'instance précédente n'a pas explicitement motivé son refus, il ressort implicitement de l'arrêt attaqué que les mesures de substitution proposées paraissaient insuffisantes au regard de l'intensité du danger de réitération.
Le recourant reproche ensuite au Tribunal cantonal de ne pas avoir mentionné les raisons pour lesquelles les griefs développés par le recourant ne permettaient pas d'écarter la condition de l'existence de forts soupçons s'agissant des faits survenus le 21 juillet 2018. Le Tribunal cantonal a toutefois retenu à cet égard que les témoignages recueillis faisaient peser de lourdes charges de contrainte sexuelle contre le recourant. Cette motivation, si elle ne répond pas à l'ensemble des objections soulevées par le recourant, a néanmoins permis à celui-ci de comprendre pourquoi son grief était rejeté et de l'attaquer en toute connaissance de cause. Cela est suffisant, sous l'angle du droit d'être entendu.
Le recourant soutient enfin que l'instance précédente n'a pas examiné la violation alléguée du principe de la célérité, et ce en particulier vu la position soutenue par le Tmc, qui avait refusé de prendre en considération l'expertise française soutenant qu'il fallait attendre le dépôt de l'expertise suisse en cours afin d'être en mesure d'apprécier le risque de réitération. A nouveau, le recourant ne peut pas être suivi dans la mesure où le Tribunal cantonal a pris en compte l'expertise française et a considéré qu'elle suffisait amplement à l'évaluation du risque de récidive dans le cadre de l'examen d'une requête de prolongation de la détention provisoire et que rien n'indiquait qu'un bref rapport préliminaire de l'experte suisse à l'oeuvre actuellement serait plus fiable. Il a ainsi confirmé la décision du Tmc de ne pas demander un bref avis évaluant le risque de récidive à l'experte suisse.
Le grief de violation du droit d'être entendu doit donc être rejeté.
3.
Sur le fond, le recourant ne conteste pas l'existence de forts soupçons à son encontre pour les faits survenus le 1er août 2018. Il soutient uniquement qu'il n'y a pas de charges suffisantes à son égard pour les faits survenus le 21 juillet 2018.
3.1. Une mesure de détention provisoire ou pour des motifs de sûreté n'est compatible avec la liberté personnelle (art. 10 al. 2 Cst. et 5 CEDH) que si elle repose sur une base légale (art. 31 al. 1 et 36 al. 1 Cst.), soit en l'espèce l'art. 221 CPP. Elle doit en outre correspondre à un intérêt public et respecter le principe de la proportionnalité (art. 36 al. 2 et 3 Cst.; art. 212 al. 3 et 237 al. 1 CPP). Pour que tel soit le cas, la privation de liberté doit être justifiée par les besoins de l'instruction, un risque de fuite ou un danger de collusion ou de réitération (cf. art. 221 al. 1 let. a, b et c CPP).
Préalablement à ces conditions, il doit exister des charges suffisantes, soit de sérieux soupçons de culpabilité, à l'égard de l'intéressé (art. 221 al. 1 CPP; art. 5 par. 1 let. c CEDH), c'est-à-dire des raisons plausibles de le soupçonner d'avoir commis une infraction. Il n'appartient cependant pas au juge de la détention de procéder à une pesée complète des éléments à charge et à décharge et d'apprécier la crédibilité des personnes qui mettent en cause le prévenu. Il doit uniquement examiner s'il existe des indices sérieux de culpabilité justifiant une telle mesure. L'intensité des charges propres à motiver un maintien en détention préventive n'est pas la même aux divers stades de l'instruction pénale; si des soupçons, même encore peu précis, peuvent être suffisants dans les premiers temps de l'enquête, la perspective d'une condamnation doit apparaître vraisemblable après l'accomplissement des actes d'instruction envisageables (<ref-ruling> consid. 3.2 p. 126 s.).
3.2. En l'espèce, le Tribunal cantonal a considéré que le recourant admettait sa participation aux faits survenus le 1er août 2018, même s'il contestait avoir personnellement infligé à la victime les sévices les plus graves. Cela suffit, à ce stade de la procédure, pour constituer un faisceau d'indices suffisant pour justifier un maintien en détention du recourant. Il n'est dès lors pas nécessaire d'examiner les griefs du recourant qui portent sur les faits survenus le 21 juillet 2018. En effet, il n'appartient pas au juge de la détention provisoire d'examiner en détail les considérations de fait, pas plus que de faire une appréciation complète des éléments à charge et à décharge; il lui incombe uniquement de vérifier, sous l'angle de la vraisemblance, que le maintien en détention avant jugement repose sur des indices de culpabilité suffisants. C'est au juge du fond et non à celui de la détention qu'il incombera, cas échéant, d'apprécier la culpabilité de l'intéressé ainsi que la valeur probante des différentes déclarations.
Par conséquent, l'appréciation de la cour cantonale selon laquelle il existerait de forts soupçons à l'encontre du prévenu ne viole pas l'art. 221 al. 1 CPP.
4.
Le recourant conteste ensuite l'existence d'un risque de récidive. Si un tel risque devait toutefois être retenu, il requiert la mise en oeuvre de mesures de substitution au sens de l'art. 237 CPP.
4.1. En vertu de l'art. 221 al. 1 let. c CPP, la détention provisoire peut être ordonnée lorsqu'il y a sérieusement lieu de craindre que le prévenu "compromette sérieusement la sécurité d'autrui par des crimes ou des délits graves après avoir déjà commis des infractions du même genre". Cette disposition pose trois conditions pour admettre un risque de récidive. En premier lieu, le prévenu doit en principe déjà avoir commis des infractions du même genre et il doit s'agir de crimes ou de délits graves. Deuxièmement, la sécurité d'autrui doit être sérieusement compromise. Troisièmement, une réitération doit, sur la base d'un pronostic, être sérieusement à craindre (<ref-ruling> consid. 2.5 p. 14).
Bien qu'une application littérale de l'art. 221 al. 1 let. c CPP suppose l'existence d'antécédents, le risque de réitération peut être également admis dans des cas particuliers alors qu'il n'existe qu'un antécédent, voire aucun dans les cas les plus graves. La prévention du risque de récidive doit en effet permettre de faire prévaloir l'intérêt à la sécurité publique sur la liberté personnelle du prévenu (<ref-ruling> consid. 3-4 p. 18). Le risque de récidive peut également se fonder sur les infractions faisant l'objet de la procédure pénale en cours, si le prévenu est fortement soupçonné - avec une probabilité confinant à la certitude - de les avoir commises (<ref-ruling> consid. 2.3.1 p. 12).
La gravité de l'infraction dépend, outre de la peine menace prévue par la loi, de la nature du bien juridique menacé et du contexte, notamment la dangerosité présentée concrètement par le prévenu, respectivement son potentiel de violence. La mise en danger sérieuse de la sécurité d'autrui par des crimes ou des délits graves peut en principe concerner tous types de biens juridiquement protégés. Ce sont en premier lieu les délits contre l'intégrité corporelle et sexuelle qui sont visés. Dans ce contexte, il y a lieu de tenir compte du besoin de protection spécifique propre à certains groupes de personnes, tels que les enfants (<ref-ruling> consid. 2.7 p. 15).
Pour établir le pronostic de récidive, les critères déterminants sont la fréquence et l'intensité des infractions poursuivies. Cette évaluation doit prendre en compte une éventuelle tendance à l'aggravation telle qu'une intensification de l'activité délictuelle, une escalade de la violence ou une augmentation de la fréquence des agissements. Les caractéristiques personnelles du prévenu doivent en outre être évaluées (<ref-ruling> consid. 3.2 p. 13; <ref-ruling> consid. 32 p. 86; arrêt 1B_455/2016 du 9 décembre 2016 consid. 3.1).
En général, la mise en danger de la sécurité d'autrui est d'autant plus grande que les actes redoutés sont graves. En revanche, le rapport entre gravité et danger de récidive est inversement proportionnel. Cela signifie que plus l'infraction et la mise en danger sont graves, moins les exigences seront élevées quant au risque de réitération. Lorsque la gravité des faits et leurs incidences sur la sécurité sont particulièrement élevées, on peut ainsi admettre un risque de réitération à un niveau inférieur. Il demeure qu'en principe le risque de récidive ne doit être admis qu'avec retenue comme motif de détention. Dès lors, un pronostic défavorable est nécessaire (et en principe également suffisant) pour admettre l'existence d'un tel risque (<ref-ruling> consid. 2.9 p. 17).
4.2. En l'occurrence, pour retenir le risque de récidive, la cour cantonale s'est d'abord fondée sur l'expertise psychiatrique française du 22 juillet 2018 attestant que le recourant souffre d'une déviance sexuelle qui rentre dans le cadre d'une personnalité " borderline". Quoi qu'en dise le recourant, la cour cantonale ne s'est pas fondée uniquement sur le rapport précité pour retenir un risque de récidive. Elle a aussi relevé que les actes reprochés au recourant dans le cas du 1er août 2018 dénotaient d'une violence grave. Elle a encore pris en compte le fait que le recourant semble avoir commis ces actes moins de 10 jours après avoir été gardé à vue en France et examiné par un expert psychiatrique français. S'ajoute à cela que le casier judiciaire suisse du recourant fait état de cinq condamnations entre 2011 et 2017, en particulier pour brigandage, contravention à la LStup, violence ou menace contre les autorités ou fonctionnaires, injure, vol et délits contre la loi fédérale sur les armes (LArm; RS 514.54).
Le recourant fait valoir que l'ensemble des infractions pour lesquelles il a été condamné - à l'exception des faits survenus le 14 janvier 2017 - se sont produites avant sa mesure de réinsertion AI, soit à une période très chaotique de sa vie durant laquelle il a été placé dans des foyers, a consommé des drogues dures et a été obligé de vivre dans la rue. Il souligne le changement radical de vie illustré par la mise en oeuvre de sa mesure de réinsertion AI et son apprentissage. Cette argumentation est toutefois insuffisante à faire admettre l'invraisemblance du risque de récidive, vu que le recourant a commis de nouveaux délits en 2017 et en 2018, soit après son "changement de vie radical" et la veille du début de son apprentissage. Il ne peut pas non plus être tenu compte de ce que ses coprévenus dans l'affaire du 1er août 2018 ont été mis au bénéfice de mesures de substitution à la détention provisoire, puisque les chefs de prévention ne sont pas les mêmes.
Ainsi, sur la base de la gravité des actes prétendument commis le 1er août 2018 - et de leur survenance 10 jours après la mise en garde à vue en France -, du rapport d'expertise psychiatrique du 22 juillet 2018 et des antécédents du recourant, la cour cantonale pouvait, sans violer l'art. 221 al. 1 let. c CPP, admettre un risque de récidive justifiant le maintien en détention.
4.3. Conformément au principe de la proportionnalité (art. 36 al. 3 Cst.), il convient d'examiner les possibilités de mettre en oeuvre d'autres solutions moins dommageables que la détention (règle de la nécessité). Cette exigence est concrétisée par l'art. 237 al. 1 CPP, qui prévoit que le tribunal compétent ordonne une ou plusieurs mesures moins sévères en lieu et place de la détention provisoire ou de la détention pour des motifs de sûreté si ces mesures permettent d'atteindre le même but que la détention. Selon l'art. 237 al. 2 CPP, font notamment partie des mesures de substitution l'assignation à résidence ou l'interdiction de se rendre dans un certain lieu (let. c), l'obligation d'avoir un travail régulier (let. e) et l'interdiction d'entretenir des relations avec certaines personnes (let. g).
En l'espèce, le recourant propose l'assignation à résidence avec la limitation de ses déplacements dans le Nord vaudois au strict minimum, à savoir uniquement en lien avec des déplacements nécessaires pour son déménagement à l'internat et pour les besoins de sa mesure AI ainsi que l'interdiction de se rendre en France, l'obligation de respecter les termes de sa mesure de réinsertion AI, l'interdiction d'entretenir des relations avec les personnes en lien avec les faits survenus les 21 juillet et 1er août 2018.
Les mesures de substitution proposées paraissant cependant insuffisantes au regard de l'intensité du risque de récidive. L'interdiction de contact et la limitation des déplacements sont en effet difficiles à contrôler. Mal fondé, le grief doit être écarté.
Enfin, du point de vue temporel, vu la gravité des infractions pour lesquelles le recourant a été mis en prévention et la durée de la détention provisoire déjà subie, le principe de la proportionnalité est aussi respecté.
5.
Le recours doit par conséquent être rejeté.
Les conditions posées à l'art. 64 al. 1 LTF étant réunies, il convient de mettre le recourant au bénéfice de l'assistance judiciaire, de lui désigner Me Ludovic Tirelli comme avocat d'office et d'allouer à celui-ci une indemnité à titre d'honoraires, qui seront supportés par la caisse du Tribunal fédéral. Il n'est pas perçu de frais judiciaires (art. 64 al. 1 et 2 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
La demande d'assistance judiciaire est admise; Me Ludovic Tirelli est désigné comme avocat d'office du recourant et une indemnité de 1'500 fr. lui est allouée à titre d'honoraires, à payer par la caisse du Tribunal fédéral. Il n'est pas perçu de frais judiciaires.
3.
Le présent arrêt est communiqué au mandataire du recourant, au Ministère public de l'arrondissement du Nord vaudois et au Tribunal cantonal du canton de Vaud, Chambre des recours pénale.
Lausanne, le 23 avril 2019
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Juge présidant : Merkli
La Greffière : Tornay Schaller