Faits:
A.
A._, ressortissant français, est en détention provisoire depuis le 21 août 2012 sous les préventions de tentative de meurtre, éventuellement de lésions corporelles graves et d'infraction à la loi fédérale sur les armes. Il lui est reproché d'avoir planté la lame d'une baïonnette dans le flanc gauche de sa victime à une profondeur de 20 cm, lors d'une altercation sur la terrasse d'un café à Fribourg.
Sa détention a été régulièrement prolongée par le Tribunal des mesures de contrainte du canton de Fribourg (Tmc) jusqu'au 20 mai 2013. Le 26 avril 2013, A._ a demandé sa mise en liberté moyennant la mise en place d'un suivi psychiatrique et d'un accompagnement socio-judiciaire. Par ordonnance du 7 mai 2013, le Tmc a prononcé la mise en liberté immédiate du prénommé assortie d'un suivi thérapeutique par le Centre de psychiatrie forensique, de la mise en place d'un accompagnement social et d'un contrôle judiciaire assurés par le Service de probation, d'un respect strict et sous contrôle biologique d'une abstinence à toute substance psychotrope non prescrite et du dépôt des papiers d'identité.
Par arrêt du 16 mai 2013, la Chambre pénale du Tribunal cantonal du canton de Fribourg (ci-après: le Tribunal cantonal) a admis partiellement le recours formé par le Ministère public de l'Etat de Fribourg (ci-après: le Ministère public) contre cette ordonnance. Elle a réformé l'ordonnance du 7 mai 2013 en ce sens que la demande de mise en liberté est rejetée et la détention prolongée jusqu'au 20 mai 2013. Elle a considéré en substance que le maintien en détention était justifié par l'existence de risques de fuite et de récidive et que les mesures de substitution ordonnées ne présentaient pas de garantie sécuritaire suffisante.
B.
Agissant par la voie du recours en matière pénale, A._ demande au Tribunal fédéral d'annuler l'arrêt du 16 mai 2013 et de confirmer l'ordonnance du 7 mai 2013, de sorte qu'il est libéré aux conditions fixées dans ladite ordonnance. Il requiert également l'assistance judiciaire.
Le Tmc conclut à l'admission du recours et le Ministère public à son rejet. Le Tribunal cantonal renonce à se déterminer. Le recourant a répliqué par courrier du 6 juin 2013. Le Ministère public a fait parvenir de nouvelles pièces le 13 juin 2013, lesquelles sont postérieures à l'arrêt attaqué et ne peuvent être prises en compte (<ref-law>).

Considérant en droit:
1.
Le recours en matière pénale (<ref-law>) est ouvert contre une décision relative à la détention provisoire au sens des <ref-law> (RS 312.0). Formé en temps utile (<ref-law>) contre une décision prise en dernière instance cantonale (<ref-law>) et qui touche le recourant dans ses intérêts juridiquement protégés (art. 81 al. 1 let. a et b ch. 1 LTF), le recours en matière pénale est recevable.
2.
Une mesure de détention préventive n'est compatible avec la liberté personnelle (art. 10 al. 2 Cst. et 5 CEDH) que si elle repose sur une base légale (art. 31 al. 1 et art. 36 al. 1 Cst.), soit en l'espèce l'<ref-law>. Elle doit en outre correspondre à un intérêt public et respecter le principe de la proportionnalité (art. 36 al. 2 et 3 Cst.; <ref-ruling> consid. 2c p. 270). Pour que tel soit le cas, la privation de liberté doit être justifiée par les besoins de l'instruction, un risque de fuite ou un danger de collusion ou de réitération (cf. art. 221 al. 1 let. a, b et c CPP). Préalablement à ces conditions, il doit exister à l'égard de l'intéressé des charges suffisantes, soit de sérieux soupçons de culpabilité (<ref-law>; art. 5 par. 1 let. c CEDH; arrêt 1B_63/2007 du 11 mai 2007 consid. 3 non publié in <ref-ruling>).
Le Tribunal fédéral examine librement ces questions, sous réserve toutefois de l'appréciation des faits, revue sous l'angle restreint des art. 97 al. 1 et 105 al. 2 LTF (<ref-ruling> consid. 2.5 p. 73 s. et les références).
3.
Le recourant ne conteste pas les faits qui lui sont reprochés, ni l'existence de sérieux soupçons de culpabilité. En revanche, il nie les risques de récidive et de fuite. Si de tels risques devaient toutefois être retenus, il requiert la mise en oeuvre de mesures de substitution au sens de l'<ref-law>.
3.1. Aux termes de l'art. 221 al. 1 let. c CPP, la détention provisoire peut être ordonnée lorsqu'il y a lieu de craindre que le prévenu "compromette sérieusement la sécurité d'autrui par des crimes ou des délits graves après avoir déjà commis des infractions du même genre". Selon la jurisprudence, il convient de faire preuve de retenue dans l'appréciation du risque de récidive: le maintien en détention ne peut se justifier pour ce motif que si le pronostic est très défavorable et si les délits dont l'autorité redoute la réitération sont graves (<ref-ruling> consid. 4.5 p. 21; <ref-ruling> consid. 2.3 p. 73). La jurisprudence se montre moins sévère dans l'exigence de vraisemblance lorsqu'il s'agit de délits de violence graves, car le risque à faire courir aux victimes potentielles est alors considéré comme trop important; en pareil cas, il convient de tenir compte de l'état psychique du prévenu, de son imprévisibilité ou de son agressivité (<ref-ruling> consid. 2e p. 271).
Bien qu'une application littérale de l'art. 221 al. 1 let. c CPP suppose l'existence d'antécédents, le risque de réitération peut être également admis dans des cas particuliers alors qu'il n'existe qu'un antécédent, voire aucun dans les cas les plus graves. La prévention du risque de récidive doit en effet permettre de faire prévaloir l'intérêt à la sécurité publique sur la liberté personnelle du prévenu (<ref-ruling> consid. 3-4 p. 18 ss; arrêt 1B_133/2011 du 12 avril 2011 consid. 4.7 in SJ 2011 I p. 487). Le risque de récidive peut également se fonder sur les infractions faisant l'objet de la procédure pénale en cours, si le prévenu est fortement soupçonné - avec une probabilité confinant à la certitude - de les avoir commises (<ref-ruling> consid. 3.2 p. 86 et les références citées).
3.2. En l'espèce, le recourant entend tirer argument de l'expertise psychiatrique du 5 mars 2013 qui a qualifié le risque de récidive de "faible à court terme" et qui a précisé "qu'à moyen et long termes, ce risque peut demeurer faible moyennant certaines précautions". Le prévenu souligne aussi qu'à la question de savoir s'il est sérieusement à craindre qu'il ne commette d'autres infractions du même genre, l'expert a répondu que "le risque est faible pour autant que les conditions d'un suivi psychiatrique et d'un accompagnement socio-judiciaire soient respectées". L'intéressé met encore en évidence un passage de l'expertise précitée qui a qualifié le passage à l'acte du prévenu d'exceptionnel.
En revanche, le recourant passe sous silence que l'expert a considéré qu'il était difficile de prévoir quel type de délit le prévenu commettrait en cas de récidive, précisant que les caractéristiques psychologiques du prévenu le rendent imprévisible pour ce qui est de la nature de l'infraction qu'il pourrait commettre. L'expert a aussi retenu que les troubles psychiques constatés au moment des faits, à l'exception du diagnostic d'abus d'alcool, étaient toujours présents et qu'il existait une relation entre les faits poursuivis et ces troubles, "plus particulièrement avec celui d'utilisation nocive de l'alcool pour la santé et celui de trouble mixte de la personnalité à traits immature et narcissique".
C'est dès lors à juste titre que le Tribunal cantonal a retenu qu'il fallait prendre en compte l'imprévisibilité du comportement du prévenu confronté à une situation banale. Les faits à l'origine de la présente procédure pénale - dont le point de départ est une dispute au sujet d'un tabouret dans le cadre d'une partie de pétanque - sont révélateurs de l'imprévisibilité et de la réaction disproportionnée du prévenu face à une situation ordinaire. Lorsque même des altercations minimes peuvent engendrer des actes aussi violents, il est difficile de s'accommoder d'une telle imprévisibilité, ce d'autant plus que le prévenu soutient qu'il n'avait pas l'intention de tuer, mais juste de "chatouiller" la victime.
De surcroît, la cour cantonale a relevé que les situations décrites par l'expert comme étant susceptibles de provoquer des raptus violents chez le prévenu sont précisément celles imposées par la vie en société. Elle a estimé que compter sur la bonne volonté du prévenu à ne pas trop se mêler à la vie en communauté afin de qualifier le risque de récidive de faible, voire de prévenir un tel risque, ne présentait pas de prime abord des garanties sécuritaires suffisantes.
En définitive, l'appréciation du Tribunal cantonal concernant l'existence du danger de réitération n'apparaît pas contraire au droit fédéral. En effet, un danger de récidive suffisamment concret peut être retenu eu égard à la gravité des actes, corrélée à l'imprévisibilité constatée des futurs comportements du prévenu face à des situations banales, ainsi qu'à sa prise de conscience tardive. L'intéressé a par ailleurs été condamné le 16 février 2011 pour violence ou menace contre les autorités et les fonctionnaires. Dans ces conditions, les éléments dont se prévaut le prévenu, à savoir que son attitude le 21 août 2012 est unique dans son parcours de vie et qu'il est suivi par le Service des curatelles d'adultes de la Ville de Fribourg ne sont pas suffisants pour remettre en cause l'appréciation de l'instance cantonale. Pour le reste, on ne voit pas en quoi le fait que le prévenu est en prison depuis plus de 8 mois serait un élément à prendre en compte pour considérer que le risque de récidive est faible.
3.3. L'affirmation d'un risque de réitération dispense d'examiner s'il existe aussi un danger de fuite, au sens de l'<ref-law>.
3.4. Conformément au principe de la proportionnalité (art. 36 al. 3 Cst.), il convient d'examiner les possibilités de mettre en oeuvre d'autres solutions moins dommageables que la détention (règle de la nécessité). Cette exigence est concrétisée par l'<ref-law>, qui prévoit que le tribunal compétent ordonne une ou plusieurs mesures moins sévères en lieu et place de la détention provisoire ou de la détention pour des motifs de sûreté si ces mesures permettent d'atteindre le même but que la détention. Selon l'<ref-law>, font notamment partie des mesures de substitution l'obligation de se soumettre à un traitement médical ou à des contrôles (let. f) ainsi que l'interdiction de se rendre dans un certain lieu ou un certain immeuble (let. c).
En l'espèce, selon l'expert, le risque d'une nouvelle infraction est susceptible d'être diminué moyennant le suivi d'un traitement psychiatrique visant surtout à diminuer les angoisses à connotation psychotique avec concomitamment une diminution de la consommation d'alcool, lequel sera impérativement accompagné d'un soutien et d'un encadrement social.
L'instance précédente a considéré que, vu la description du processus du passage à l'acte chez le prévenu et la lecture plus nuancée du degré du risque de récidive, seule l'action conjointe et vouée au succès de toutes ces mesures de substitution serait susceptible de prévenir un risque de récidive. Or, elle a émis des doutes quant à la réelle motivation du prévenu à se soumettre aux deux aspects du suivi thérapeutique: sur le traitement psychiatrique destiné à diminuer les angoisses à connotation psychotique, deux suivis du Centre psychosocial avaient échoué, le dernier ayant pris fin sur initiative du recourant en janvier 2012; quant à la diminution de la consommation d'alcool, différents propos de l'intéressé montraient qu'il avait tendance à nier la véritable portée à attribuer à sa consommation d'alcool.
Cette analyse de la cour cantonale ne prête pas le flanc à la critique. En l'état, l'organisation de la mise en liberté du recourant qui a une tendance marquée à la consommation abusive d'alcool et dont le comportement est aussi imprévisible paraît en effet difficile. Le Tribunal cantonal peut être suivi lorsqu'il juge que les mesures de substitution ordonnées par le Tmc ne sont pas propres à écarter tout risque de récidive et qu'elles ne présentent pas de garantie sécuritaire suffisante, au regard de l'imprévisibilité dont la société doit s'accommoder si le prévenu devait être remis en liberté aujourd'hui.
Par ailleurs, il n'apparaît pas que la détention provisoire doive se prolonger encore longtemps, dans la mesure où le Ministère public a indiqué que l'acte d'accusation clôturant l'instruction est déjà rédigé et qu'il sera notifié aux parties et au Tribunal pénal de la Sarine lorsque le dossier lui aura été retourné.
3.5. Il s'ensuit que le recours est rejeté.
4.
Le recourant a demandé l'assistance judiciaire et les conditions en sont réunies. Me Philippe Leuba est désigné comme avocat d'office du recourant, rétribué par la caisse du Tribunal fédéral. Il n'est pas perçu de frais judiciaires (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1.
Le recours est rejeté.
2.
La demande d'assistance judiciaire est admise; Me Philippe Leuba est désigné comme avocat d'office du recourant et une indemnité de 1'500 francs lui est allouée à titre d'honoraires, à payer par la caisse du Tribunal fédéral. Il n'est pas perçu de frais judiciaires.
3.
Le présent arrêt est communiqué au mandataire du recourant, au Ministère public, au Tribunal des mesures de contrainte et à la Chambre pénale du Tribunal cantonal du canton de Fribourg.
Lausanne, le 14 juin 2013
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président: Fonjallaz
La Greffière: Tornay Schaller