Faits :
A.
Le 10 décembre 2021, le Ministère public de l'arrondissement de La Côte (Ministère public) a ouvert une instruction pénale contre A._ pour actes d'ordre sexuel avec des enfants (<ref-law>) et actes d'ordre sexuel commis sur une personne incapable de discernement ou de résistance (<ref-law>).
Il lui est en substance reproché d'avoir depuis une date indéterminée jusqu'au 18 novembre 2021, profité du fait que son épouse B._ dormait et prenait des somnifères pour améliorer la qualité de son sommeil, pour commettre l'acte sexuel sur elle, alors qu'il savait qu'elle aurait refusé toute relation sexuelle. Il est également mis en cause pour avoir entre les 3 et 5 décembre 2021, pris des photographies de son sexe en érection, alors que sa fille C._, âgée de 7 ans et demi et souffrant d'autisme, était allongée à côté de lui.
Après avoir entendu B._ le 10 décembre 2021, le Ministère public a requis la mise en détention provisoire du prévenu pour une durée de trois mois. Par ordonnance du 13 décembre 2021, le Tribunal des mesures de contrainte (Tmc), retenant l'existence d'un risque de collusion, a ordonné la détention provisoire du prénommé pour une durée maximale d'un mois, soit au plus tard jusqu'au 11 janvier 2022.
La Chambre des recours pénale du Tribunal cantonal du canton de Vaud (Tribunal cantonal) a, par arrêt du 17 décembre 2021, rejeté le recours formé par le prévenu contre l'ordonnance précitée qu'il a confirmée.
B.
Par acte du 23 décembre 2021, A._ forme un recours en matière pénale au Tribunal fédéral contre cet arrêt, concluant, principalement, à sa réforme en ce sens que la demande de détention provisoire présentée le 11 décembre 2021 par le Ministère public est rejetée. Subsidiairement, il demande, en lieu et place de la détention provisoire ordonnée, qu'interdiction lui soit faite, sous la menace de la peine d'amende prévue par l'<ref-law>, de contacter ou de prendre contact d'une quelconque manière avec les parties plaignantes ou personnes concernées par l'affaire pénale dirigée à son encontre. Plus subsidiairement, il requiert sa libération le 4 janvier 2022, et plus subsidiairement encore, le renvoi de la cause à l'autorité précédente pour nouvelle décision dans le sens des considérants. Il sollicite par ailleurs l'assistance judiciaire.
Invités à se déterminer, le Tribunal cantonal y renonce et se réfère aux considérants de sa décision, à l'instar du Ministère public.

Considérant en droit :
1.
Le recours en matière pénale (<ref-law>) est ouvert et le recourant dispose d'un intérêt juridique à la réforme de la décision attaquée qui confirme sa détention provisoire (art. 81 al. 1 let. a et b ch. 1 LTF). Le recours a été formé en temps utile (<ref-law>) contre une décision rendue par une autorité statuant en tant que dernière instance cantonale (<ref-law>) et les conclusions présentées sont recevables au regard de l'<ref-law>. Il y a donc lieu d'entrer en matière.
2.
Le recourant se prévaut des art. 29 Cst. et 6 CEDH pour soutenir que le Tribunal cantonal aurait commis un déni de justice; il ne se serait pas prononcé sur deux pièces ainsi que sur la conclusion IIbis en lien avec ces documents, communiqués le 22 décembre 2021, soit avant l'échéance du délai de recours contre l'ordonnance attaquée. Il s'agit en l'occurrence de l'avis de la police cantonale du 20 décembre 2021 informant les parties de l'audition, le 4 janvier 2022, de D._ - à laquelle le recourant a envoyé les photographies incriminées - ainsi que du procès-verbal de la nouvelle audition de l'épouse du prénommé intervenue le 21 décembre 2021 devant le Ministère public. Le recourant demande en outre que la décision entreprise soit complétée sur plusieurs points, en application des art. 9 Cst. et 97 al. 1 LTF.
En l'espèce, les pièces ainsi que les faits qu'elles contiennent étaient, comme on le verra (cf. infra consid. 4), sans incidence sur l'issue du litige. Dès lors, bien que l'autorité précédente ne se soit pas expressément exprimée à cet égard, un renvoi de la cause à l'autorité précédente conduirait à une vaine formalité et à prolonger inutilement la procédure, en sorte qu'il n'y pas lieu d'annuler l'arrêt entrepris pour ce motif (cf. <ref-ruling> consid. 1.4.1). Il ne se justifie pas non plus de compléter la décision attaquée dans le sens voulu par le recourant, dans la mesure où les éléments dont il demande l'intégration y figurent déjà (cf. arrêt entrepris consid. 4.3), respectivement ne sont pas déterminants (cf. <ref-ruling> consid. 2).
Partant, les griefs d'ordre formel élevés par le recourant peuvent être écartés.
3.
Une mesure de détention provisoire n'est compatible avec la liberté personnelle garantie aux art. 10 al. 2 Cst. et 5 CEDH que si elle repose sur une base légale (art. 31 al. 1 et art. 36 al. 1 Cst.), soit en l'espèce l'<ref-law>. Elle doit en outre correspondre à un intérêt public et respecter le principe de la proportionnalité (art. 36 al. 2 et 3 Cst.). Pour que tel soit le cas, la privation de liberté doit être justifiée par un risque de fuite ou par un danger de collusion ou de réitération (art. 221 al. 1 let. a, b et c CPP). Préalablement à ces conditions, il doit exister des charges suffisantes, soit de sérieux soupçons de culpabilité, à l'égard de l'intéressé (<ref-law>). En tout état de cause, la détention provisoire ne doit pas durer plus longtemps que la peine privative de liberté prévisible (<ref-law>).
4.
Le recourant ne remet pas en cause l'existence de charges suffisantes à son encontre. Il conteste en revanche la réalisation du risque de collusion retenu par l'autorité précédente. Il fait valoir que dès lors que son épouse a déjà été entendue et que D._ le sera le 4 janvier 2022, sa libération, à tout le moins après cette date, ne menacerait en rien l'enquête.
4.1. Pour retenir l'existence d'un risque de collusion au sens de l'<ref-law>, l'autorité doit démontrer que les circonstances particulières du cas d'espèce font apparaître un danger concret et sérieux de manoeuvres propres à entraver la manifestation de la vérité, en indiquant, au moins dans les grandes lignes et sous réserve des opérations à conserver secrètes, quels actes d'instruction elle doit encore effectuer et en quoi la libération du prévenu en compromettrait l'accomplissement. Dans cet examen, entrent en ligne de compte les caractéristiques personnelles du détenu, son rôle dans l'infraction ainsi que ses relations avec les personnes qui l'accusent. Entrent aussi en considération la nature et l'importance des déclarations, respectivement des moyens de preuve susceptibles d'être menacés, la gravité des infractions en cause et le stade de la procédure (<ref-ruling> consid. 4.2; <ref-ruling> consid. 3.2 et les références citées). Plus l'instruction se trouve à un stade avancé et les faits sont établis avec précision, plus les exigences relatives à la preuve de l'existence d'un risque de collusion sont élevées (<ref-ruling> consid. 4.2; <ref-ruling> consid. 3.2.2; arrêt 1B_200/2020 du 16 juin 2020 consid. 2.1).
4.2. En l'espèce, comme l'a relevé le Tribunal cantonal, les allégations du recourant doivent encore être soumises à son épouse. Il n'est pas exclu que le Ministère public décide, à la lumière de cette mesure d'instruction et des déclarations de D._, d'entendre certains enfants du recourant, en particulier C._. Dans ces circonstances, et quoi qu'en dise le recourant, ce dernier pourrait être tenté, dans l'intervalle, d'obtenir des rétractations de son épouse et/ou d'influencer les déclarations de ses enfants. Pour cela, il y a lieu d'attendre le résultat des mesures d'instruction diligentées par le Ministère public et d'éviter que ce dernier n'entrave, pendant ce temps, la manifestation de la vérité s'il était remis en liberté.
Ainsi, il convient d'admettre que le risque de collusion demeure important et concret à ce stade de la procédure. La cour cantonale pouvait dès lors, à bon droit, confirmer l'existence d'un risque de collusion.
5.
Le recourant se plaint enfin d'une violation de l'art. 226 al. 4 let. c CPP, respectivement du principe de la proportionnalité.
En l'occurrence, la mesure de substitution à laquelle conclut le recourant apparaît insuffisante au regard de la nature du risque de collusion constaté. Le recourant méconnaît en particulier que le cercle des personnes appelées à témoigner est encore susceptible d'évoluer au gré de l'instruction. Quant aux éléments que le recourant invoque en lien avec sa situation familiale et financière, ils ne sont pas propres à écarter la réalisation du risque de collusion redouté. Quoi qu'en pense le recourant, la cour cantonale pouvait, sans violer le droit fédéral (cf. art. 36 al. 3 Cst.; <ref-law>), confirmer qu'aucune mesure de substitution ne permettait, en l'état, de pallier le risque de collusion à son encontre.
Enfin, au regard des infractions qui sont reprochées au recourant, dont l'une d'entre elles est passible d'une peine privative de liberté de dix ans (<ref-law>), le principe de la proportionnalité n'est à ce jour pas non plus violé par la durée de la détention déjà subie.
6.
Il s'ensuit que le recours est rejeté. Comme les conclusions étaient vouées à l'échec, la demande d'assistance judiciaire doit également être rejetée (<ref-law>). Toutefois, pour tenir compte de la situation financière du recourant, il peut être renoncé à la perception de frais judiciaires (art. 66 al. 1 in fine LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
La requête d'assistance judiciaire est rejetée.
3.
Il n'est pas perçu de frais judiciaires.
4.
Le présent arrêt est communiqué au mandataire du recourant, au Ministère public central du canton de Vaud et au Tribunal cantonal du canton de Vaud, Chambre des recours pénale.
Lausanne, le 11 janvier 2022
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président : Kneubühler
Le Greffier : Nasel