Faits:
A.
Par jugement du 21 mars 2013, le Tribunal d'application des peines et mesures du canton de Genève (ci-après: TAPEM) a ordonné la poursuite du traitement institutionnel en milieu fermé (<ref-law>) prononcé par décision du 26 mai 2009 à l'encontre de X._ pour une durée de trois ans, sous réserve des contrôles annuels.
Par acte du 28 mars 2013, adressé au TAPEM, le recourant a annoncé un appel contre le jugement précité, sans indication de motifs ou de griefs, et sans prendre de conclusion. Le 11 avril 2013, il a déposé auprès de la chambre pénale de la Cour de justice une "déclaration d'appel motivée".
B.
Par arrêt du 10 juin 2013, la Chambre pénale de recours du canton de Genève a déclaré irrecevable le recours formé par X._ contre le jugement rendu le 21 mars 2013 par le TAPEM.
C.
X._ forme un recours en matière pénale contre cet arrêt. Il conclut principalement à la réforme de l'arrêt attaqué en ce sens que la libération conditionnelle du traitement institutionnel en milieu fermé soit ordonnée. A titre subsidiaire, il requiert le renvoi de la cause à l'autorité cantonale pour nouvelle décision. Il sollicite par ailleurs l'assistance judiciaire.

Considérant en droit:
1.
1.1. Le recours est dirigé contre une décision d'irrecevabilité. Il s'agit d'une décision finale, au sens de l'<ref-law>, dès lors qu'elle conduit à la clôture définitive de l'instance pour un motif tiré des règles de procédure (<ref-ruling> consid. 1.1 p. 133).
1.2. Des conclusions sur le fond du litige ne sont en principe pas admissibles contre une décision d'irrecevabilité. La raison en est que, sauf exceptions non réalisées en l'espèce, le Tribunal fédéral vérifie dans une telle situation uniquement si c'est à bon droit que l'autorité précédente n'est pas entrée en matière sur le recours interjeté. Il n'examine donc pas le fond de la contestation (<ref-ruling> consid. 1.3 p. 317; arrêt 5A_704/2011 du 23 février 2012 consid. 1.2, non publié in <ref-ruling>). En cas d'admission du recours, il ne réforme pas la décision attaquée mais l'annule et renvoie la cause à l'autorité précédente pour qu'elle entre en matière sur le recours ou l'appel (arrêt 4A_330/2008 du 27 janvier 2010 consid. 2.1, non publié in <ref-ruling>).
En l'espèce, la conclusion principale du recourant, tendant à la réforme de l'arrêt attaqué dans le sens du prononcé de sa libération conditionnelle du traitement institutionnel en milieu fermé est donc irrecevable. En revanche, il convient d'entrer en matière sur sa conclusion subsidiaire, tendant à l'annulation de la décision attaquée et au renvoi de la cause pour nouvelle décision.
2.
2.1. Le recourant soutient que la décision prise par le TAPEM en application des <ref-law> constitue un jugement susceptible d'appel et non d'un recours. Il se fonde sur l'art. 42 al. 2 de la loi genevoise d'application du code pénal suisse et d'autres lois fédérales en matière pénale du 27 août 2009 (LaCP; RS/GE E 4 10). Le recourant affirme que la Chambre pénale de recours a fait preuve d'arbitraire (art. 9 Cst.) en s'écartant de cette disposition cantonale.
2.2. Les décisions prises en application de l'<ref-law> sont des décisions judiciaires ultérieures indépendantes au sens de l'<ref-law> (Message relatif à l'unification de la procédure pénale du 21 décembre 2005, FF 2006 p. 1282; CHRISTIAN SCHWARZENEGGER, in Kommentar zur Schweizerischen Strafprozessordnung, Donatsch/Hansjakob/Lieber [éd.], 2010, n° 2 ad <ref-law>; MICHEL PERRIN, in Commentaire romand, Code de procédure pénale suisse, 2011, n° 10 ad <ref-law>). Une telle décision est susceptible, au plan cantonal, d'un recours au sens de l'<ref-law> (arrêts 6B_293/2012 du 21 février 2013 consid. 2; 6B_425/2013 du 31 juillet 2013 consid. 1.2; Message du 21 décembre 2005, FF 2006 p. 1283; MICHEL PERRIN, op. cit. n° 11 ad <ref-law>; MARIANNE HEER, in Basler Kommentar, Schweizerische Strafprozessordung, 2011, n° 6 ad <ref-law>).
Par conséquent, la décision de prolongation du traitement institutionnel, prise par le TAPEM en application de l'<ref-law>, est sujette à recours, en tant que décision judiciaire ultérieure indépendante. La détermination de la voie de droit ouverte contre les décisions judiciaires indépendantes (<ref-law> en rapport avec l'<ref-law>) étant réglée exhaustivement par le droit fédéral, le recourant ne peut rien déduire en sa faveur de son argumentation sur le prétendu caractère arbitraire de la non- application de l'art. 42 al. 2 LaCP (RS/GE E 4 10). C'est ainsi qu'il se méprend en taxant d'arbitraire le raisonnement de la cour cantonale. Partant, le grief est infondé.
3.
3.1. Le recourant invoque la violation du principe constitutionnel de la bonne foi. Il fait valoir que la pratique de la Cour de justice, antérieure à la parution de l'arrêt 6B_293/2012 du 21 février 2013, consiste à soumettre la procédure de libération conditionnelle d'une mesure thérapeutique institutionnelle à la voie de l'appel et non à celle du recours. Un changement de pratique, fondé sur une jurisprudence fédérale non publiée et contraire au droit procédural cantonal, aurait nécessité un avertissement préalable de la part de l'autorité judiciaire.
3.2. Aux termes de l'art. 5 al. 3 Cst., les organes de l'État et les particuliers doivent agir de manière conforme aux règles de la bonne foi. De ce principe général découle notamment le droit fondamental du particulier à la protection de sa bonne foi dans ses relations avec l'État, consacré à l'art. 9 in fine Cst., dont le Tribunal fédéral contrôle librement le respect (<ref-ruling> consid. 8.3.1 p. 53 et les arrêts cités).
On a déduit du principe de la bonne foi consacré à l'art. 5 al. 3 Cst. que les parties ne doivent subir aucun préjudice en raison d'une indication inexacte des voies de droit. Seul peut toutefois bénéficier de la protection de la bonne foi, celui qui ne pouvait pas constater l'inexactitude de la voie de droit indiquée, même avec la diligence qu'on pouvait attendre de lui (cf. <ref-ruling> consid. 8.3.2 p. 53 s. et les arrêts cités, <ref-ruling> consid. 1.3.1 p. 203; arrêt 5A_545/2012 du 21 décembre 2012 consid. 5.1). Tel n'est pas le cas de la partie qui s'est aperçue de l'erreur ou aurait dû s'en apercevoir en prêtant l'attention commandée par les circonstances, étant précisé que seule une négligence procédurale grossière peut faire échec à la protection de la bonne foi (<ref-ruling> consid. 8.3.2 p. 53; arrêt 2C_962/2012 du 21 mars 2013 consid. 3.2). Une plus grande sévérité est de mise à l'endroit d'un homme de loi qu'à l'égard d'un simple particulier (<ref-ruling> consid. 8.3.2 p. 53 s.; <ref-ruling> consid. 13.1 p. 202 s.; <ref-ruling> consid. 2 p. 299).
Le recourant ne conteste pas que le jugement du TAPEM indiquait de manière claire la bonne voie de droit, en l'occurrence le recours, ainsi que la forme et le délai à respecter conformément aux dispositions légales applicables. Il ne s'agit ainsi pas d'un cas où le recourant subit un préjudice en raison d'une indication inexacte des voies de droit par une autorité. Pour ce motif déjà, il ne saurait se prévaloir d'une violation du principe de la bonne foi. Au surplus, la question de la voie de recours contre les décisions ultérieures indépendantes étant régie exhaustivement par le CPP (cf. supra consid. 2.2), il lui incombait, s'il avait un doute sur la voie de droit figurant sur le jugement, de consulter le texte légal qui ne porte pas à confusion. L'intéressé, assisté au demeurant d'un mandataire professionnel, a fait preuve d'une négligence procédurale grossière, en omettant de considérer la pertinence de la voie de droit indiquée sur le jugement querellé ainsi que les dispositions topiques du CPP. Partant, la Chambre pénale de recours n'a pas violé le principe de la bonne foi en déclarant le recours irrecevable. Le grief soulevé doit être rejeté.
4.
4.1. Le recourant invoque ensuite une violation de l'<ref-law>. Il considère que la Chambre pénale de recours ne pouvait pas déclarer son recours irrecevable au motif que son annonce d'appel ne comportait ni motivation ni conclusion. Il incombait à cette autorité de l'inviter à compléter son annonce d'appel selon les exigences de l'<ref-law>.
4.2. À teneur de l'<ref-law> le recours doit être motivé et adressé par écrit à l'autorité de recours dans le délai de dix jours dès la notification de la décision. L'<ref-law> énonce que si le code exige que le recours soit motivé, la personne ou l'autorité qui recourt doit indiquer précisément, les points de la décision qu'elle attaque (let. a), les motifs qui commandent une autre décision (let. b) et les moyens de preuve qu'elle invoque (let. c). L'al. 2 de la disposition prévoit que, si le mémoire ne satisfait pas à ces exigences, l'autorité de recours le renvoie au recourant afin que ce dernier le complète dans un bref délai.
Cette disposition, contrairement à ce que tend à croire le recourant, ne permet pas de suppléer à un défaut de motivation. Elle vise uniquement à protéger le justiciable contre un formalisme excessif de la part de l'autorité (FF 2006 p. 1293). En effet, il est communément admis en procédure que la motivation d'un acte de recours doit être entièrement contenue dans l'acte de recours lui-même. Elle ne saurait dès lors être complétée ou corrigée ultérieurement, l'<ref-law> ne devant pas être appliqué afin de détourner la portée de l'<ref-law> qui interdit la prolongation des délais fixés par la loi (arrêt 6B_130/2013 du 3 juin 2013 consid. 3.2; arrêt 1B_183/2012 du 20 novembre 2012 consid. 2; 6B_872/2013 du 17 octobre 2013 consid. 3; RICHARD CALAME, in Commentaire romand, Code de procédure pénale suisse, 2011, n° 2 et 3 ad <ref-law>, MARTIN ZIEGLER, in Basler Kommentar, Schweizerische Strafprozessordnung, 2011, n° 3 ad <ref-law>).
En l'espèce, le jugement en cause a été notifié au conseil du recourant le 25 mars 2013. Comme indiqué sur le jugement, il disposait d'un délai de dix jours pour déposer un recours par écrit et motivé à l'autorité de recours (<ref-law>), étant précisé que le délai court à partir du jour qui suit la notification de la décision ( MARC RÉMY, Commentaire romand, Code de procédure pénale suisse, 2011, n° 12 ad <ref-law>), soit dans le cas présent le 26 mars 2013. Le recourant ne conteste pas que son annonce d'appel du 28 mars 2013, certes déposée en temps utile, ne comporte aucune motivation ni conclusion. L'autorité cantonale était ainsi fondée à le déclarer irrecevable. Le grief est rejeté.
5.
Le recours doit être rejeté dans la mesure où il est recevable. Le recourant a requis le bénéfice de l'assistance judiciaire. Comme ses conclusions étaient dépourvues de chance de succès, celle-ci ne peut être accordée (<ref-law>). Le recourant devra donc supporter les frais (<ref-law>), dont le montant sera toutefois arrêté en tenant compte de sa situation financière.

Par ces motifs, le Tribunal fédéral prononce:
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
La demande d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 800 francs, sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties et à la Cour de justice de la République et canton de Genève, Chambre pénale de recours.
Lausanne, le 28 octobre 2013
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président: Mathys
La Greffière: Boëton