Faits :
A.
Emmené dans les locaux de la police pour y être auditionné le 28 mars 2019, A._ a souhaité être assisté par un avocat de choix, en la personne de Me Andrea von Flüe. Ce dernier n'étant pas disponible, il a été fait appel à un avocat de permanence, Me B._. Le lendemain, lors de l'audience devant le Ministère public du canton de Genève, A._ était assisté de Me B._ et de Me von Flüe. A._ a alors déclaré confier la défense de ses intérêts à Me von Flüe, avec élection de domicile en son étude. A._ a été prévenu d'actes d'ordre sexuel avec des enfants (<ref-law>), de contrainte sexuelle (<ref-law>), de viol (<ref-law>), d'acte d'ordre sexuel commis sur une personne incapable de discernement ou de résistance (<ref-law>) et de propagation d'une maladie de l'homme (<ref-law>). Sa détention provisoire a été ordonnée le 31 mars 2019. Il a été remis en liberté moyennant des mesures de substitution le 21 mai 2019.
Par téléfax du 9 avril 2019, Me Andrea von Flüe s'est étonné auprès du Ministère public de ne pas s'être vu désigner comme défenseur d'office, ce qui contrevenait à la directive C.8 du Procureur général du canton de Genève.
Par décision du 16 avril 2019, le Ministère public a refusé d'ordonner la défense d'office en faveur de A._. Il a considéré qu'aucune des deux conditions de l'<ref-law> n'était réalisée, la situation du prévenu relevant de la lettre b de cette disposition; il appartenait ainsi au prénommé d'établir qu'il ne disposait pas des moyens nécessaires et de lui retourner le formulaire idoine dûment rempli.
Par arrêt du 27 mai 2019, la Chambre pénale de recours de la Cour de justice du canton de Genève a rejeté le recours déposé par A._ contre la décision du 16 avril 2019. Elle a considéré en substance que les conditions de l'<ref-law> n'étaient pas remplies, de sorte qu'en application de l'<ref-law> le prévenu devait produire les pièces attestant de son indigence.
B.
Agissant par la voie du recours en matière pénale, A._ demande au Tribunal fédéral d'annuler l'arrêt du 27 mai 2019 et de renvoyer le dossier au Ministère public pour nouvelle décision ordonnant sa défense d'office par Me Andreas von Flüe avec effet au jour de l'ouverture de l'instruction. Il requiert aussi d'être dispensé du paiement des frais judiciaires devant le Tribunal fédéral.
Le Ministère public conclut au rejet du recours. La Cour de justice se réfère aux considérants de son arrêt et n'a pas d'observations à formuler. Le recourant a répliqué, par courrier du 10 juillet 2019.

Considérant en droit :
1.
Conformément à l'<ref-law>, une décision relative à la défense d'office dans une cause pénale peut faire l'objet d'un recours en matière pénale. Le recourant, prévenu et bénéficiaire de la demande de désignation d'un défenseur d'office, a qualité pour recourir (<ref-law>). Il est douteux que le refus de désigner un avocat d'office au sens de l'<ref-law> soit susceptible de causer au prévenu un préjudice irréparable au sens de l'<ref-law>, puisqu'il ne s'est pas vu opposer un refus d'assistance judiciaire définitif, le Ministère public étant en train d'examiner s'il peut bénéficier de la défense d'office au sens de l'<ref-law>. La question peut cependant demeurer indécise.
Pour le surplus, le recours a été formé en temps utile (<ref-law>) contre une décision rendue en dernière instance cantonale (<ref-law>) et les conclusions présentées sont recevables au regard de l'<ref-law>.
2.
Le recourant reproche à la cour cantonale d'avoir retenu que les conditions pour une défense d'office n'étaient pas réunies et d'avoir considéré que Me von Flüe était un avocat de choix.
2.1. Dans toutes les procédures pénales et à n'importe quel stade de celles-ci, le prévenu a le droit de charger de sa défense un conseil juridique de son choix (<ref-law>).
Un cas de défense obligatoire au sens de l'<ref-law> impose au prévenu l'assistance d'un défenseur, que celui-ci le soit à titre privé (cf. <ref-law>) ou désigné d'office (cf. <ref-law>).
Dans le premier cas, le prévenu choisit librement son avocat et le rémunère lui-même. Dans la seconde hypothèse, l'autorité désigne au prévenu un défenseur, rétribué par l'Etat - à tout le moins provisoirement -, dans la mesure où la sauvegarde des droits de l'intéressé le requiert. En cas de défense obligatoire, l'autorité intervient lorsque le prévenu, malgré l'invitation de la direction de la procédure, ne désigne pas de défenseur privé (art. 132 al. 1 let. a ch. 1 CPP) ou lorsque le mandat est retiré au défenseur privé ou que celui-ci a décliné le mandat et que le prévenu n'a pas désigné un nouveau défenseur dans le délai imparti (art. 132 al. 1 let. a ch. 2 CPP).
Une défense d'office est aussi ordonnée lorsque le prévenu ne dispose pas des moyens nécessaires et que l'assistance d'un défenseur est justifiée pour sauvegarder ses intérêts (<ref-law>; arrêt 1B_461/2016 du 9 février 2017 consid. 2.1.2). L'<ref-law> s'applique aussi à des cas de défense obligatoire autres que ceux de la lettre a, notamment lorsque le prévenu, qui disposait jusqu'alors d'un défenseur de choix, voit sa situation financière évoluer au point de ne plus disposer des moyens nécessaires à la rémunération de celui-ci (arrêt 1B_461/2016 du 9 février 2017 consid. 2.2.2).
Le paragraphe 4.5 de la directive C.8 du Procureur général du canton de Genève prévoit que le Ministère public nomme immédiatement un défenseur d'office, sans demander de rapport sur la situation financière, en cas de défense obligatoire, dès lors que la situation financière obérée n'est pas une condition à la nomination d'un défenseur d'office (art. 130 et 132 al. 1 let. a CPP).
2.2. En l'occurrence, il n'est pas contesté que le recourant bénéficie de l'assistance d'un avocat. Se référant à l'<ref-ruling> consid. 5.1, le recourant relève cependant qu'en cas de défense obligatoire, l'assistance d'un défenseur d'office, dont les frais sont assumés (provisoirement) par l'Etat, n'exige pas la preuve de l'indigence du prévenu (art. 132 al. 1er let. a en lien avec l'<ref-law>). Il souligne aussi que le Ministère public a indiqué au prévenu lors de la première audience qu'il se trouvait dans un cas de défense obligatoire et qu'il lui appartenait de choisir s'il souhaitait être défendu par l'avocat qui s'était présenté dans le cadre de l'intervention de première heure ou par l'avocat qu'il avait sollicité lors de son interpellation et qui se trouvait aussi présent lors de l'audience. Il fait valoir ne pas avoir été informé que son choix impliquait la désignation d'un défenseur privé et qu'il était donc tenu de le rémunérer immédiatement pas ses propres moyens. Son avocat affirme ne pas avoir douté un seul instant du fait qu'il agissait comme avocat d'office, ce qui correspondait d'ailleurs à la pratique du Ministère public.
Ce faisant, le recourant ne conteste pas avoir désigné un défenseur. Il ressort en effet du procès-verbal de l'audition devant la police du 28 mars 2019 que le recourant a requis la désignation d'un avocat de choix, Me Andrea von Flüe, pour l'assister (procès-verbal de l'audition du 28 mars 2019, p. 2). Le recourant a d'ailleurs été expressément rendu attentif à ses droits et obligations en tant que prévenu et a signé un formulaire dans lequel il était précisé qu'il pouvait faire appel à un avocat de choix à tout moment à ses propres frais. L'avocat de choix étant indisponible le 28 mars 2019, un avocat de permanence l'a défendu lors de cette audition. Le recourant a ensuite toujours été assisté par son avocat de choix. Lors de la première audience devant le Ministère public, le recourant a d'ailleurs confirmé vouloir être défendu par son avocat de choix. C'est dès lors à bon droit que la cour cantonale a considéré que, comme le recourant n'avait jamais cessé d'être assisté par son avocat de choix, les conditions de l'<ref-law> pour la nomination d'un avocat d'office n'étaient à l'évidence pas remplies et le paragraphe 4.5 de la directive C.8 précitée - en lien avec l'<ref-law> - ne s'appliquait pas.
Le recourant ne peut rien tirer non plus de l'<ref-ruling>. En effet, cet arrêt confirme que, lorsqu'un prévenu doit se voir désigner une défense d'office car il est dépourvu de défenseur alors qu'il se trouve dans un cas de défense obligatoire (cf. <ref-law>), il y a lieu de prendre en considération ses souhaits conformément à l'<ref-law>, ce quand bien même il n'aurait pas démontré son indigence, la question de la prise en charge des coûts dans le cadre d'une défense d'office en vertu de l'<ref-law> n'ayant pas à être examinée avant la fin de la procédure. Or en l'espèce, l'<ref-law> ne s'applique pas, de sorte que la jurisprudence y relative est sans pertinence.
L'instance précédente n'a donc pas violé le droit fédéral en jugeant qu'il s'agissait d'une défense d'office au sens de l'<ref-law> et en confirmant la décision du Ministère public invitant le recourant à produire les pièces attestant de son indigence.
3.
Il s'ensuit que le recours est rejeté aux frais du recourant qui succombe (art. 65 et 66 al. 1 LTF).
Les conclusions du recours étant d'emblée vouées à l'échec, il y a lieu de rejeter la demande d'assistance judiciaire (<ref-law>) mais de statuer exceptionnellement sans frais (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
La demande d'assistance judiciaire est rejetée.
3.
Il n'est pas perçu de frais judiciaires.
4.
Le présent arrêt est communiqué au mandataire du recourant, au Ministère public du canton de Genève et à la Cour de justice du canton de Genève, Chambre pénale de recours.
Lausanne, le 11 septembre 2019
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président : Chaix
La Greffière : Tornay Schaller