Faits :
A.
A._, ressortissant suisse né en 1966, est en détention provisoire depuis le 1 er janvier 2014, sous les préventions d'actes d'ordre sexuel avec des enfants (<ref-law>), et viol (<ref-law>). Il lui est notamment reproché d'avoir entretenu plusieurs relations sexuelles complètes avec B._, née en décembre 1998, fille cadette de son ex-amie D._ avec qui il a cohabité entre le début de l'année 2007 et août 2012. Interrogé le 31 janvier 2014, le prévenu a dans un premier temps contesté avoir touché cet enfant avant de reconnaître avoir commis des attouchements (sur les seins, le sexe, le vagin et au niveau du derrière) durant le second semestre 2011 et avoir fini par entretenir des relations sexuelles complètes avec elle, trois à cinq fois. Le 19 février 2014, le prévenu a situé le début de ses agissements en août ou septembre 2011 et a chiffré à deux, pas plus, le nombre de relations sexuelles complètes. Le 20 mars 2014, le prévenu a confirmé avoir procédé à divers attouchements sur la victime et a admis avoir entretenu trois à cinq relations sexuelles complètes jusqu'à éjaculation; il a cependant réfuté les autres accusations formulées par la victime, notamment le fait que ses agissements auraient débuté en 2007 déjà et qu'il aurait parfois fait usage de la force pour parvenir à ses fins.
B.
Le rapport d'expertise psychiatrique du prénommé établi le 25 mai 2014 par le Dr C._ a posé le diagnostic d'un trouble du développement mental de sévérité moyenne. L'expert a qualifié de "faible" le risque de passage à l'acte sexuel et de "faible à moyen" le risque de passage à l'acte agressif violent.
C.
Par ordonnance du 10 juin 2014, le Tribunal des mesures de contrainte (Tmc) a, à la demande du Ministère public, prolongé la détention de A._ jusqu'au 10 septembre 2014, en raison du risque de récidive. L'intéressé a recouru contre cette décision auprès du Juge unique de la Chambre pénale du Tribunal cantonal valaisan (ci-après: le Tribunal cantonal), qui a rejeté ce recours par ordonnance du 30 juin 2014. En substance, le Tribunal cantonal a considéré que les mesures de substitution évoquées par l'expert ne permettaient pas en l'état d'exclure tout risque de récidive.
D.
Agissant par la voie du recours en matière pénale, A._ demande au Tribunal fédéral d'annuler la décision de l'instance précédente et d'ordonner sa mise en liberté immédiate, sous suite de frais et dépens. A titre subsidiaire, il conclut au renvoi de la cause à l'instance précédente pour nouvelle décision. Le Tribunal cantonal s'est référé aux considérants de son jugement et le Ministère public n'a pas déposé d'observations.

Considérant en droit :
1.
Le recours en matière pénale (<ref-law>) est en principe ouvert contre une décision relative à la détention provisoire ou pour motifs de sûreté au sens des <ref-law> (<ref-ruling> consid. 1 p. 23). Selon l'art. 81 al. 1 let. a et b ch. 1 LTF, le prévenu - actuellement détenu - a qualité pour agir. Le recours a été formé en temps utile (<ref-law>) contre une décision rendue en dernière instance cantonale (<ref-law>) et les conclusions présentées sont recevables au regard de l'<ref-law>. Il y a donc lieu d'entrer en matière.
2.
Le recourant estime que l'état de fait retenu dans l'ordonnance attaquée ne prête pas foncièrement le flanc à la critique mais mérite d'être complété. Il évoque notamment la lettre d'excuse adressée à la victime et celle relatant sa vie, qu'il a envoyée à la magistrate en charge de l'instruction et dans laquelle il mentionne avoir été victime d'un abus sexuel; le recourant précise que, lors d'une audition par la police en mai 2014, l'auteur de cet abus a reconnu les faits. L'intéressé fait encore référence aux auditions de ses filles, de son ex-épouse et de son amie.
Le Tribunal fédéral statue en principe sur la base des faits établis par l'autorité précédente (<ref-law>), sous réserve des cas prévus à l'<ref-law>. Le recourant ne peut critiquer la constatation de faits qui importent pour le jugement de la cause que si ceux-ci ont été établis en violation du droit au sens de l'<ref-law> ou de manière manifestement inexacte (<ref-law>), c'est-à-dire arbitraire, ce qu'il lui appartient de démontrer par une argumentation répondant aux exigences de l'<ref-law>, respectivement de l'<ref-law> (<ref-ruling> consid. 4.1.2 p. 62). En l'espèce, le recours ne comporte aucune démonstration du caractère arbitraire de l'état de fait de la décision attaquée. Par ailleurs, les éléments invoqués (prise de conscience de ses actes; lettre d'excuse; abus sexuel dont il aurait été victime) ne sont pas, pour les motifs exposés ci-dessous (cf. consid. 4.3), susceptibles d'influer sur le sort de la cause. Il n'y a dès lors pas lieu de compléter les faits établis dans l'ordonnance attaquée.
3.
Une mesure de détention préventive n'est compatible avec la liberté personnelle (art. 10 al. 2 Cst. et 5 CEDH) que si elle repose sur une base légale (art. 31 al. 1 et art. 36 al. 1 Cst.), soit en l'espèce l'<ref-law>. Elle doit en outre correspondre à un intérêt public et respecter le principe de la proportionnalité (art. 36 al. 2 et 3 Cst.). Pour que tel soit le cas, la privation de liberté doit être justifiée par les besoins de l'instruction, un risque de fuite ou un danger de collusion ou de réitération (art. 221 al. 1 let. a, b et c CPP).
Préalablement à l'examen de ces hypothèses, il doit exister à l'égard de l'intéressé des charges suffisantes, soit de sérieux soupçons de culpabilité (<ref-law>), condition qui n'est pas remise en cause en l'espèce.
4.
Le recourant critique en revanche la proportionnalité de la détention provisoire, le Tribunal cantonal ayant, à ses yeux, refusé à tort de le libérer immédiatement moyennant les mesures de substitution préconisées par l'expert. Il se prévaut de l'expertise qualifiant de faible le risque de récidive, mais également de l'absence d'antécédent, de la reconnaissance des actes, de la collaboration à l'enquête, du fait qu'il ne ment pas (citant comme exemple l'abus dont il a été victime), des excuses et regrets qu'il a émis et de l'acceptation de se soumettre à un soutien psychologique.
4.1. Aux termes de l'art. 221 al. 1 let. c CPP, la détention provisoire peut être ordonnée lorsqu'il y a lieu de craindre que le prévenu compromette sérieusement la sécurité d'autrui par des crimes ou des délits graves après avoir déjà commis des infractions du même genre. Selon la jurisprudence, il convient de faire preuve de retenue dans l'appréciation du risque de récidive: le maintien en détention ne peut se justifier pour ce motif que si le pronostic est très défavorable et si les délits dont l'autorité redoute la réitération sont graves (<ref-ruling> consid. 4.5 p. 21; <ref-ruling> consid. 2.3 p. 73 et les arrêts cités). La jurisprudence se montre moins sévère dans l'exigence de vraisemblance lorsqu'il s'agit de délits de violence graves, car le risque à faire courir aux victimes potentielles est alors considéré comme trop important; en pareil cas, il convient de tenir compte de l'état psychique du prévenu, de son imprévisibilité ou de son agressivité (<ref-ruling> consid. 2e p. 271).
Bien qu'une application littérale de l'art. 221 al. 1 let. c CPP suppose l'existence d'antécédents, le risque de réitération peut être également admis dans des cas particuliers alors qu'il n'existe qu'un antécédent, voire aucun dans les cas les plus graves. La prévention du risque de récidive doit en effet permettre de faire prévaloir l'intérêt à la sécurité publique sur la liberté personnelle du prévenu (<ref-ruling> consid. 3 à 4 p. 18 ss; arrêt 1B_133/2011 du 12 avril 2011 consid. 4.7 in SJ 2011 I p. 487). Le risque de réitération peut également se fonder sur les infractions faisant l'objet de la procédure pénale en cours, si le prévenu est fortement soupçonné - avec une probabilité confinant à la certitude - de les avoir commises (<ref-ruling> consid. 3.2 p. 86 et les références citées).
4.2. En l'occurrence, l'expert psychiatre a retenu que le risque de récidive était considéré comme "faible" pour les infractions sexuels et "faible à modéré" pour les actes violents, relevant en particulier que le recourant n'avait pas d'antécédent judiciaire, qu'il ne présentait pas un diagnostic de pédophilie et qu'il était conscient du caractère illicite de ses actes. Selon l'expert, le recourant souffre d'un trouble du développement mental de sévérité moyenne; au moment des faits, il présentait également un diagnostic de trouble de l'adaptation d'intensité moyenne. Il ressort de l'expertise que l'impulsivité qui peut être associée, en cas de facteurs déstabilisants, au trouble du développement mental dont souffre le recourant nécessite encadrement et soutien personnalisé à long terme; ces mesures sont susceptibles de réduire les risques de passage à l'acte. Les facteurs déstabilisants ou à risques sont, selon l'expert, le trouble du développement du recourant, les bouleversements existentiels (professionnels ou affectifs), l'absence d'insertion sociale, professionnelles et/ou sentimentale, ainsi que l'absence d'une personne de référence investie à long terme (soutien personnel régulier).
En l'occurrence, le risque de réitération n'a pas été exclu par l'expert. Certes, ce risque a été qualifié de faible pour les actes d'ordre sexuels. Toutefois, la gravité des infractions contre l'intégrité sexuelle reprochées au prévenu et leur répétition sur une certaine période - pas encore clairement définie - sont des éléments qui doivent être pris en compte au moment de l'appréciation. Le risque de comportement agressif "faible à modéré" ne doit en outre pas être entièrement ignoré. De plus, il ressort de l'expertise que le mode de vie actuel du recourant (notamment la perte de son emploi et le début d'une nouvelle relation sentimentale peu avant son arrestation) et ses projets - surévalués selon l'expert - ne sont pas de nature à assurer la meilleure stabilité, dès sa remise en liberté. Au vu de ces éléments, il n'est dès lors pas possible de retenir qu'en cas de libération, le recourant se trouverait dans une situation propre à exclure de manière suffisante pour la sécurité d'autrui tout danger de récidive.
4.3. Conformément au principe de proportionnalité (art. 36 al. 3 Cst.), il convient ensuite d'examiner les possibilités de mettre en oeuvre d'autres solutions moins dommageables que la détention. Cette exigence est concrétisée par l'<ref-law>, qui prévoit que le tribunal compétent ordonne une ou plusieurs mesures moins sévères en lieu et place de la détention si celles-ci permettent d'atteindre le même but. Selon l'<ref-law>, font notamment partie des mesures de substitution l'obligation de se soumettre à un traitement médical ou à des contrôles (let. f) et l'interdiction d'entretenir des relations avec certaines personnes (let. g).
Le Tribunal cantonal a expliqué pour quelles raisons les mesures de substitution évoquées par l'expert, à savoir l'obligation de se soumettre à un suivi psychothérapeutique et à une assistance de probation, ne permettaient pas en l'état d'exclure tout risque de récidive. L'instance précédente a en effet relevé qu'aucune ébauche concrète des modalités d'application de ces mesures n'avait été formulée. Au vu du dossier, l'instance précédente a estimé que le suivi psychothérapeutique devait être mis en place au cours de détention, de manière à ce que les jalons de ce suivi soient déjà posés de manière crédible au moment de la libération et que l'assistance de probation puisse s'y greffer naturellement.
L'appréciation de la cour cantonale ne viole pas le droit fédéral. En effet, au vu de la gravité et de la répétition des infractions contre l'intégrité sexuelle de la victime, il convient de s'assurer que la libération du prévenu se fasse avec les meilleures garanties possibles pour éviter toute récidive. L'expert indiquait à cet égard que le traitement pouvait être mis en place pendant l'exécution de la peine, c'est-à-dire en détention. Outre le fait qu'aucun suivi psychothérapeutique n'a été mis en oeuvre à ce jour, l'instance précédente relevait également à juste titre qu'on ignorait le réel niveau de l'adhésion et de la réceptivité du recourant à une telle mesure. La future mise en place d'un tel traitement ne saurait ainsi conduire à la libération immédiate du recourant. Les remords et les excuses exprimés par l'intéressé, la motivation alléguée de se soumettre à un tel traitement et le fait qu'il a lui-même été victime d'un abus sexuel ne permettent pas de modifier cette appréciation.
4.4. Par conséquent, le Tribunal cantonal n'a pas violé le droit fédéral en confirmant l'ordonnance du 10 juin 2014 du Tmc prolongeant la détention jusqu'au 10 septembre 2014.
5.
Il s'ensuit que le recours est rejeté dans la mesure de sa recevabilité.
Le recourant a demandé l'assistance judiciaire et les conditions en paraissent réunies (<ref-law>). Il y a lieu de désigner Me Pierre-Armand Luyet en qualité d'avocat d'office et de fixer ses honoraires, qui seront supportés par la caisse du Tribunal fédéral (<ref-law>). Le recourant est en outre dispensé des frais judiciaires (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
La demande d'assistance judiciaire est admise; Me Pierre-Armand Luyet est désigné comme avocat d'office du recourant et une indemnité de 1'500 fr. lui est allouée à titre d'honoraires, à payer par la caisse du Tribunal fédéral. Il n'est pas perçu de frais judiciaires.
3.
Le présent arrêt est communiqué au mandataire du recourant, à l'Office central du Ministère public du canton du Valais et au Juge de la Chambre pénale du Tribunal cantonal du canton du Valais.
Lausanne, le 28 juillet 2014
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président : La Greffière :
Fonjallaz Arn