Faits:
A. Une instruction a été ouverte en mai 2008 contre A._, ressortissant portugais, pour lésions corporelles simples (<ref-law>). L'instruction a par la suite été étendue notamment aux infractions de viol (<ref-law>), d'escroquerie (<ref-law>), de contrainte sexuelle (<ref-law>), d'actes d'ordre sexuel avec des enfants (<ref-law>), de pornographie (<ref-law>) et de menaces (<ref-law>).
Le prénommé a été placé en détention préventive du 3 au 5 mai 2008, puis du 23 avril au 2 juillet 2009. A cette dernière date, il a été libéré provisoirement, moyennant respect de mesures de contrôle judiciaire (en particulier de l'interdiction de quitter la Suisse pendant toute la durée de la procédure). Suite à des violations graves desdites mesures, il a été remis en détention préventive le 26 juillet 2010. Par décision du 22 septembre 2010, la Chambre pénale du Tribunal cantonal du canton du Valais (ci-après: la Chambre pénale) a confirmé son maintien en détention préventive.
Le 15 avril 2011, le Procureur de l'Office central du Ministère public du canton du Valais (ci-après: le Procureur) a informé les parties de la clôture prochaine de l'instruction, en leur indiquant vouloir rendre une ordonnance de mise en accusation et en fixant un délai au 6 mai 2011 pour présenter leurs réquisitions de preuve.
Par décision du 27 avril 2011, le Tribunal des mesures de contrainte du canton du Valais a prolongé la détention provisoire de A._ pour une durée de trois mois. Par ordonnance du 23 mai 2011, le Juge unique de la Chambre pénale a rejeté le recours déposé par le prénommé contre cette décision. Il a considéré en substance que les charges à l'encontre du prévenu étaient suffisantes, qu'il existait des risques de fuite et de collusion, et que les principes de la proportionnalité et de la célérité étaient respectés, compte tenu de la gravité des infractions reprochées et de la durée de la détention provisoire.
B. Agissant par la voie du recours en matière pénale, A._ demande au Tribunal fédéral d'annuler cette ordonnance et d'ordonner sa mise en liberté immédiate. Il requiert également l'assistance judiciaire.
La Chambre pénale et le Procureur ont renoncé à se déterminer.

Considérant en droit:
1. Selon l'<ref-law>, le recours en matière pénale est ouvert contre les décisions en matière pénale, notamment celles relatives à la détention provisoire ou pour des motifs de sûreté au sens des art. 212 ss du code de procédure pénale suisse (CPP, RS 312.0; <ref-ruling> consid. 1 p. 23). En vertu de l'art. 81 al. 1 let. a et let. b ch. 1 LTF, le prévenu a qualité pour agir. Le recours est formé en temps utile (<ref-law>) contre une décision rendue en dernière instance cantonale (<ref-law>) et les conclusions présentées sont recevables au regard de l'<ref-law>.
2. Une mesure de détention provisoire n'est compatible avec la liberté personnelle (art. 10 al. 2 Cst. et 5 CEDH) que si elle repose sur une base légale (art. 31 al. 1 et 36 al. 1 Cst.), soit en l'espèce l'<ref-law>. Elle doit en outre correspondre à un intérêt public et respecter le principe de la proportionnalité (art. 36 al. 2 et 3 Cst.; <ref-ruling> consid. 2c p. 270). Pour que tel soit le cas, la privation de liberté doit être justifiée par les besoins de l'instruction, un risque de fuite ou un danger de collusion ou de réitération (cf. art. 221 al. 1 let. a, b et c CPP). Préalablement à ces conditions, il doit exister à l'égard de l'intéressé des charges suffisantes, soit de sérieux soupçons de culpabilité (<ref-law>; art. 5 par. 1 let. c CEDH; arrêt 1B_63/2007 du 11 mai 2007 consid. 3 non publié in <ref-ruling>). Le Tribunal fédéral examine librement ces questions, sous réserve toutefois de l'appréciation des faits, revue sous l'angle restreint des art. 97 al. 1 et 105 al. 2 LTF (<ref-ruling> consid. 2.5 p. 73 s. et les références).
3. Le recourant ne remet pas en cause la base légale de sa détention et ne conteste pas l'existence de charges suffisantes à son encontre. En revanche, il reproche à la Chambre pénale d'avoir retenu un risque de fuite et de collusion.
3.1 Le risque de fuite doit s'analyser en fonction d'un ensemble de critères tels que le caractère de l'intéressé, sa moralité, ses ressources, ses liens avec l'Etat qui le poursuit ainsi que ses contacts à l'étranger, qui font apparaître le risque de fuite non seulement possible, mais également probable (<ref-ruling> consid. 4a p. 70 et la jurisprudence citée). La gravité de l'infraction ne peut pas, à elle seule, justifier la prolongation de la détention, même si elle permet souvent de présumer un danger de fuite en raison de l'importance de la peine dont le prévenu est menacé (<ref-ruling> consid. 3a p. 62, 117 Ia 69 consid. 4a p. 70, 108 Ia 64 consid. 3 p. 67).
3.2 En l'espèce, il est vrai que le recourant peut se prévaloir de liens avec la Suisse, dans la mesure où ses parents et son fils y résident. Cela étant, l'intéressé a également des liens avec le Portugal dont il possède la nationalité. Il est en effet propriétaire d'un appartement dans ce pays et il y séjournait régulièrement avant ses démêlés avec la justice pénale suisse. S'ajoute à cela le fait que sa fille aînée vit au Portugal. Par ailleurs, le recourant a admis avoir fait plus de 2'000 km à moto pour se rendre au Portugal entre deux contrôles de présence par la police cantonale.
Les attaches du recourant avec la Suisse doivent de surcroît être mises en balance avec la gravité des actes qui lui sont reprochés et la peine privative de liberté encourue, qui pourrait l'inciter à faire certains sacrifices pour y échapper. L'ensemble de ces éléments apparaît suffisant pour retenir un risque concret de fuite.
Face à ces arguments, le recourant se borne à relever avoir toujours travaillé en Suisse et s'y être intégré. Il prétend avoir démontré par son attitude "sa volonté de rester en Suisse et d'y assumer ses obligations". Il soutient encore que s'il s'est rendu au Portugal en violation des mesures de contrôle judiciaire, il est rentré spontanément en Suisse, ce qui serait "la démonstration que le risque de fuite n'existe pas". Cette argumentation est insuffisante à faire admettre l'invraisemblance du risque de fuite. Le fait qu'il aurait "toujours répondu présent aux convocations qui lui étaient adressées ainsi qu'aux contrôles judiciaires, à l'exception d'une fois où il s'est présenté en retard" ne suffit pas non plus à écarter le danger de fuite.
3.3 L'affirmation d'un risque de fuite dispense d'examiner s'il existe aussi un danger de collusion, au sens de l'<ref-law>.
4. Il s'ensuit que le recours doit être rejeté. Dès lors que le recourant est dans le besoin et que ses conclusions ne paraissaient pas d'emblée vouées à l'échec, l'assistance judiciaire doit lui être accordée (<ref-law>). Le recourant requiert la désignation de Me Frédéric Delessert en qualité d'avocat d'office. Il y a lieu de faire droit à cette requête et de fixer d'office les honoraires de l'avocat, qui seront supportés par la caisse du Tribunal fédéral (<ref-law>). Le recourant est en outre dispensé des frais judiciaires (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. La demande d'assistance judiciaire est admise. Me Frédéric Delessert est désigné comme défenseur d'office du recourant et ses honoraires, supportés par la caisse du Tribunal fédéral, sont fixés à 1'500 francs.
3. Il n'est pas perçu de frais judiciaires.
4. Le présent arrêt est communiqué au mandataire du recourant, à l'Office central du Ministère public et au Juge unique de la Chambre pénale du Tribunal cantonal du canton du Valais.
Lausanne, le 12 juillet 2011
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président: La Greffière:
Fonjallaz Tornay Schaller