Faits : A. A._, ressortissant suisse né en 1966, est en détention provisoire depuis le 1 er janvier 2014, sous les préventions d'actes d'ordre sexuel avec des enfants (art. 187 ch. 1 CP), et viol (art. 190 CP). Il lui est notamment reproché d'avoir entretenu plusieurs relations sexuelles complètes avec B._, née en décembre 1998, fille cadette de son ex-amie D._ avec qui il a cohabité entre le début de l'année 2007 et août 2012. Interrogé le 31 janvier 2014, le prévenu a dans un premier temps contesté avoir touché cet enfant avant de reconnaître avoir commis des attouchements (sur les seins, le sexe, le vagin et au niveau du derrière) durant le second semestre 2011 et avoir fini par entretenir des relations sexuelles complètes avec elle, trois à cinq fois. Le 19 février 2014, le prévenu a situé le début de ses agissements en août ou septembre 2011 et a chiffré à deux, pas plus, le nombre de relations sexuelles complètes. Le 20 mars 2014, le prévenu a confirmé avoir procédé à divers attouchements sur la victime et a admis avoir entretenu trois à cinq relations sexuelles complètes jusqu'à éjaculation; il a cependant réfuté les autres accusations formulées par la victime, notamment le fait que ses agissements auraient débuté en 2007 déjà et qu'il aurait parfois fait usage de la force pour parvenir à ses fins. B. Le rapport d'expertise psychiatrique du prénommé établi le 25 mai 2014 par le Dr C._ a posé le diagnostic d'un trouble du développement mental de sévérité moyenne. L'expert a qualifié de "faible" le risque de passage à l'acte sexuel et de "faible à moyen" le risque de passage à l'acte agressif violent. C. Par ordonnance du 10 juin 2014, le Tribunal des mesures de contrainte (Tmc) a, à la demande du Ministère public, prolongé la détention de A._ jusqu'au 10 septembre 2014, en raison du risque de récidive. L'intéressé a recouru contre cette décision auprès du Juge unique de la Chambre pénale du Tribunal cantonal valaisan (ci-après: le Tribunal cantonal), qui a rejeté ce recours par ordonnance du 30 juin 2014. En substance, le Tribunal cantonal a considéré que les mesures de substitution évoquées par l'expert ne permettaient pas en l'état d'exclure tout risque de récidive. D. Agissant par la voie du recours en matière pénale, A._ demande au Tribunal fédéral d'annuler la décision de l'instance précédente et d'ordonner sa mise en liberté immédiate, sous suite de frais et dépens. A titre subsidiaire, il conclut au renvoi de la cause à l'instance précédente pour nouvelle décision. Le Tribunal cantonal s'est référé aux considérants de son jugement et le Ministère public n'a pas déposé d'observations.