Faits : A. A.a. A.A._, né en 1987, et B.A._, née en 1993, sont mariés depuis 2013. Ils sont les parents de deux enfants, soit C._ et D._, nés respectivement en 2016 et 2017. A.b. Depuis le 15 décembre 2018, le Ministère public de l'arrondissement de l'Est vaudois instruit une enquête contre A.A._ pour voies de fait qualifiées (art. 126 al. 2 let. b CP), menaces qualifiées (art. 180 al. 2 let. a CP) ainsi que séquestration et enlèvement (art. 183 ch. 1 CP). En substance, il lui est reproché d'avoir régulièrement violenté son épouse depuis 2016 en la frappant, notamment avec un chausse-pied, sur divers endroits du corps, en particulier sur le ventre alors qu'elle était enceinte. Entre le 5 et le 15 décembre 2018, le prévenu l'aurait en outre empêchée de sortir de leur domicile de E._ après lui avoir pris son téléphone portable, la menaçant par ailleurs de la tuer, de même que leurs enfants. Durant cette période, au cours de laquelle A.A._ aurait également porté des coups à B.A._, cette dernière aurait alors tenté de se suicider en ingérant des médicaments. Au terme de ces 10 jours, B.A._ aurait été emmenée par le prévenu au Kosovo où, en plus de son téléphone portable, A.A._ aurait saisi son passeport, son permis d'établissement ainsi que son argent, afin de l'empêcher de rentrer en Suisse. L'épouse a alors contacté la police, qui a pu organiser son retour dans le canton de Vaud le 18 décembre 2018, de concert avec l'Ambassade de Suisse au Kosovo, de sorte qu'elle a pu retrouver ses enfants, qui avaient été confiés pendant le séjour à sa belle-famille. Elle est depuis lors prise en charge, avec ses enfants, par le Centre X._. Le prévenu a quant à lui été interpellé à son arrivée à l'aéroport de Zurich le 19 décembre 2018. A.c. Par ordonnance du 21 décembre 2018, le Tribunal des mesures de contrainte (Tmc) a ordonné la détention provisoire de A.A._ jusqu'au 19 mars 2019, retenant alors l'existence de risques de collusion et de récidive. Le 15 janvier 2019, A.A._ a déposé une demande de libération. Celle-ci a été rejetée par ordonnance du 29 janvier 2019 du Tmc, décision confirmée par arrêt du 7 février 2019 de la Chambre des recours pénale du Tribunal cantonal vaudois. B. Par requête du 11 février 2019, A.A._ a sollicité une nouvelle fois sa libération. Cette demande a été rejetée le 25 février 2019 par le Tmc. Le recours déposé contre cette ordonnance a été rejeté par arrêt du 13 mars 2019 de la Chambre des recours pénale, qui a retenu l'existence de charges suffisantes et d'un risque de récidive qu'aucune mesure de substitution ne permettait de pallier. C. Par acte du 2 avril 2019, A.A._ forme un recours en matière pénale au Tribunal fédéral contre cet arrêt. Il conclut, avec suite de frais et dépens, principalement à sa libération immédiate. A titre subsidiaire, il conclut à ce que sa libération soit assortie de mesures de substitution, sous la forme de la fourniture de sûretés d'un montant de 15'000 fr. et d'une interdiction de contacter B.A._ et de l'approcher à moins de 500 mètres. Invité à se déterminer, le Ministère public a conclu au rejet du recours. La Chambre des recours pénale a pour sa part renoncé à se déterminer, se référant à ses considérants.