Faits: A. Une instruction a été ouverte en mai 2008 contre A._, ressortissant portugais, pour lésions corporelles simples (art. 123 CP). L'instruction a par la suite été étendue notamment aux infractions de viol (art. 190 al. 1 CP), d'escroquerie (art. 146 CP), de contrainte sexuelle (art. 189 al. 1 CP), d'actes d'ordre sexuel avec des enfants (art. 187 ch. 1 CP), de pornographie (art. 197 ch. 3 CP) et de menaces (art. 180 CP). Le prénommé a été placé en détention préventive du 3 au 5 mai 2008, puis du 23 avril au 2 juillet 2009. A cette dernière date, il a été libéré provisoirement, moyennant respect de mesures de contrôle judiciaire (en particulier de l'interdiction de quitter la Suisse pendant toute la durée de la procédure). Suite à des violations graves desdites mesures, il a été remis en détention préventive le 26 juillet 2010. Par décision du 22 septembre 2010, la Chambre pénale du Tribunal cantonal du canton du Valais (ci-après: la Chambre pénale) a confirmé son maintien en détention préventive. Le 15 avril 2011, le Procureur de l'Office central du Ministère public du canton du Valais (ci-après: le Procureur) a informé les parties de la clôture prochaine de l'instruction, en leur indiquant vouloir rendre une ordonnance de mise en accusation et en fixant un délai au 6 mai 2011 pour présenter leurs réquisitions de preuve. Par décision du 27 avril 2011, le Tribunal des mesures de contrainte du canton du Valais a prolongé la détention provisoire de A._ pour une durée de trois mois. Par ordonnance du 23 mai 2011, le Juge unique de la Chambre pénale a rejeté le recours déposé par le prénommé contre cette décision. Il a considéré en substance que les charges à l'encontre du prévenu étaient suffisantes, qu'il existait des risques de fuite et de collusion, et que les principes de la proportionnalité et de la célérité étaient respectés, compte tenu de la gravité des infractions reprochées et de la durée de la détention provisoire. B. Agissant par la voie du recours en matière pénale, A._ demande au Tribunal fédéral d'annuler cette ordonnance et d'ordonner sa mise en liberté immédiate. Il requiert également l'assistance judiciaire. La Chambre pénale et le Procureur ont renoncé à se déterminer.