Faits :
A.
Le 24 octobre 2014, X._ a déposé plainte pénale contre son père A._ pour actes d'ordre sexuel avec des enfants, abus de détresse et menaces.
Il reproche à son père de lui avoir fait subir des attouchements, de l'avoir sodomisé à plusieurs reprises entre 7 et 11 ans et de l'avoir menacé de mort ainsi que sa mère s'il parlait de ces abus.
Par ordonnance du 3 octobre 2014, le Ministère public genevois a ouvert une instruction pénale contre X._ pour brigandage aggravé perpétré dans la nuit du 2 au 3 octobre 2014, au préjudice de son père.
Le 24 septembre 2015, les parties ont été entendues par le Ministère public. Par ordonnance du 14 avril 2016, le Ministère public a rendu une ordonnance de classement contre laquelle X._ a interjeté un recours le 29 avril 2016.
B.
Par arrêt du 31 mai 2016, la Chambre pénale de recours de la Cour de justice a rejeté le recours de X._.
En bref, elle retient, s'agissant des attouchements ayant eu lieu lors de la douche, que, si les gestes de A._ pouvaient être déplacés, ils ne constituaient pas des charges suffisantes pour obtenir une prévention d'infraction à l'<ref-law>. Quant aux agressions que ce dernier aurait perpétrées de nuit, en le contraignant à dormir avec lui, après l'avoir drogué, la cour souligne que ces accusations ne reposaient en réalité que sur les seules allégations de X._, qui ne se rappelait que de très peu de choses. Les symptômes décrits dans le rapport de la Dresse B._ et C._ n'apparaissaient pas spécifiquement développés par les seules victimes d'abus sexuels. Enfin, les révélations du recourant intervenaient très tardivement, compte tenu du soutien psychologique dont il bénéficiait durant son enfance et son adolescence.
La cour cantonale indique également que la prévention de menaces alléguée par X._ n'était pas établie avec une vraisemblance suffisante. Elle a écarté les preuves requises par celui-ci au motif qu'il n'était pas parvenu à faire la démonstration que les auditions seraient en mesure de fournir des indices inédits dans le dossier.
C.
Par mémoire du 1er juillet 2016, X._ recourt au Tribunal fédéral contre l'arrêt cantonal dont il demande principalement qu'il soit annulé, la procédure préliminaire reprise, les témoignages exécutés et le Ministère public invité à engager l'accusation pour actes d'ordre sexuel avec des enfants (<ref-law>) et, subsidiairement, que le dossier soit renvoyé à la Cour de justice pour nouvelle décision dans le sens des considérants, le tout avec suite de frais et dépens. Il sollicite également le bénéfice de l'assistance judiciaire.

Considérant en droit :
1.
1.1. Selon l'art. 81 al. 1 let. a et b ch. 5 LTF, la partie plaignante qui a participé à la procédure de dernière instance cantonale est habilitée à recourir au Tribunal fédéral, si la décision attaquée peut avoir des effets sur le jugement de ses prétentions civiles. Constituent de telles prétentions celles qui sont fondées sur le droit civil et doivent en conséquence être déduites ordinairement devant les tribunaux civils. Il s'agit principalement des prétentions en réparation du dommage et du tort moral au sens des <ref-law>.
Selon l'<ref-law>, il incombe au recourant d'alléguer les faits qu'il considère comme propres à fonder sa qualité pour recourir (<ref-ruling> consid. 1.2 p. 539; <ref-ruling> consid. 1 p. 356). Lorsque le recours est dirigé contre une décision de non-entrée en matière ou de classement de l'action pénale, la partie plaignante n'a pas nécessairement déjà pris des conclusions civiles (<ref-ruling> consid. 1.3.1 p. 248). Quand bien même la partie plaignante aurait déjà déclaré des conclusions civiles (cf. <ref-law>), il n'en reste pas moins que le procureur qui refuse d'entrer en matière ou prononce un classement n'a pas à statuer sur l'aspect civil (cf. <ref-law>). Dans tous les cas, il incombe par conséquent à la partie plaignante d'expliquer dans son mémoire au Tribunal fédéral quelles prétentions civiles elle entend faire valoir contre l'intimé. Comme il n'appartient pas à la partie plaignante de se substituer au Ministère public ou d'assouvir une soif de vengeance, la jurisprudence entend se montrer restrictive et stricte, de sorte que le Tribunal fédéral n'entre en matière que s'il ressort de façon suffisamment précise de la motivation du recours que les conditions précitées sont réalisées, à moins que l'on puisse le déduire directement et sans ambiguïté compte tenu notamment de la nature de l'infraction alléguée (<ref-ruling> consid. 1.1 p. 4 s.; <ref-ruling> consid. 1.4.1 p. 189; <ref-ruling> consid. 2.4 p. 222 s.).
1.2. Le recourant se contente d'indiquer, dans son recours, qu'il est partie plaignante pour justifier sa qualité pour recourir, sans faire valoir de prétentions civiles dans le procès pénal. Cela étant, il a précisé dans sa plainte se constituer comme demandeur au civil. Les agissements dénoncés dans le cas d'espèce constituent des infractions graves contre l'intégrité sexuelle. Il apparaît d'emblée que la décision de classement est de nature à influencer négativement le jugement des prétentions civiles du recourant, spécifiquement du tort moral qu'il pourrait faire valoir contre l'intimé en raison des agressions prétendument subies. Il remplit ainsi les exigences jurisprudentielles permettant de lui reconnaître la qualité pour recourir en matière pénale (art. 81 al. 1 let. a et b ch. 5 LTF).
2.
Le recourant se plaint d'une appréciation anticipée des preuves insoutenable, ainsi que de la violation de la maxime d'instruction et de son droit d'être entendu.
2.1. Le droit d'être entendu, tel qu'il est garanti par l'art. 29 al. 2 Cst., comprend notamment pour le justiciable le droit d'obtenir l'administration des preuves pertinentes et valablement offertes, de participer à l'administration des preuves essentielles et de se déterminer sur son résultat lorsque cela est de nature à influer sur la décision à rendre (<ref-ruling> consid. 3.1 p. 277; <ref-ruling> consid. 2a/aa p. 16; <ref-ruling> consid. 3a p. 51). En procédure pénale, l'<ref-law> prévoit que le ministère public ne peut écarter une réquisition de preuves que si celle-ci porte sur des faits non pertinents, notoires, connus de l'autorité pénale ou déjà suffisamment prouvés en droit. L'<ref-law> prévoit quant à lui qu'il n'y a pas lieu d'administrer des preuves sur des faits non pertinents, notoires, connus de l'autorité pénale ou déjà suffisamment prouvés. Le législateur a ainsi consacré le droit des autorités pénales de procéder à une appréciation anticipée des preuves. Le magistrat peut renoncer à l'administration de certaines preuves, notamment lorsque les faits dont les parties veulent rapporter l'authenticité ne sont pas importants pour la solution du litige. Ce refus d'instruire ne viole le droit d'être entendu que si l'appréciation anticipée de la pertinence du moyen de preuve offert, à laquelle le juge a ainsi procédé, est entachée d'arbitraire (<ref-ruling> consid. 5.3 p. 236).
2.2. En l'occurrence, la cour cantonale, reprenant l'appréciation du ministère public, a exposé pour quels motifs il n'y avait pas lieu de donner suite aux requêtes de preuves proposées par le recourant. Elle a ainsi, sur la base d'une appréciation anticipée des preuves, considéré que les moyens offerts n'étaient pas de nature à modifier son appréciation des faits. En particulier, D._, E._ et F._ avaient déjà été entendus par la police et/ou le ministère public. F._ avait précisément décrit la réaction du père du recourant lorsque, consécutivement au brigandage qu'ils avaient commis à son détriment, le recourant l'avait interpellé au sujet des prétendus abus sexuels subis. On ne distinguait pas ce qu'une audition de ce témoin pourrait révéler de plus par rapport à ses précédentes dépositions. Il en allait de même de l'audition de C._, le recourant passant sous silence quels éléments de fait ce thérapeute pourrait divulguer qui ne se trouvaient pas déjà dans son rapport. L'audition de G._, demi-frère du recourant, était également superflue, le recourant ne prétendant pas que celui-ci aurait eu connaissance des faits dénoncés ou qu'il lui en aurait parlé. En ce qui concernait sa demande d'être entendu une nouvelle fois, la cour cantonale a relevé qu'il avait déjà été entendu par la police puis par le ministère public, et qu'il avait pu relater sa version des faits dans sa plainte ainsi que dans son recours devant la cour cantonale. Il n'explicitait nullement en quoi consisteraient les éléments qui lui étaient revenus à l'esprit, ni en quoi ceux-ci seraient de nature à étayer, de manière probante, les accusations qu'il portait à l'encontre de son père.
2.3. Le recourant se limite à faire valoir que les personnes dont il sollicite l'audition pourraient apporter des renseignements complémentaires. En ce qui concerne l'audition de H._, qui n'avait pas été demandée par le recourant devant l'instance précédente, elle n'aurait de toute façon pas été susceptible d'apporter un nouvel éclairage au litige, ce dernier ayant déjà déclaré que le recourant lui avait confié avoir été victime d'abus sexuels dans son enfance. S'agissant de sa propre audition, une fois de plus, le recourant n'indique nullement en quoi elle serait en mesure d'apporter des éléments utiles à la procédure.
Le recourant se contentant de soutenir que des personnes auraient dû être interrogées sans démontrer en quoi les considérations de l'instance précédente seraient arbitraires, le grief de violation du droit d'être entendu doit être rejeté dans la mesure où il est recevable.
3.
Le recourant se plaint du classement de la plainte car, selon lui, les témoignages versés au dossier sont tous concordants et reflètent ses déclarations cohérentes et constantes.
3.1. L'<ref-law> prévoit que le ministère public ordonne le classement de tout ou partie de la procédure lorsqu'aucun soupçon justifiant une mise en accusation n'est établi. Selon la jurisprudence, cette disposition doit être appliquée conformément à l'adage in dubio pro duriore. Celui-ci découle du principe de la légalité (art. 5 al. 1 Cst. et 2 al. 2 CPP en relation avec les art. 319 al. 1 et 324 CPP; <ref-ruling> consid. 4.2 p. 91) et signifie qu'en principe un classement ou une non-entrée en matière ne peuvent être prononcés par le ministère public que lorsqu'il apparaît clairement que les faits ne sont pas punissables ou que les conditions à la poursuite pénale ne sont pas remplies. Le ministère public et l'autorité de recours disposent, dans ce cadre, d'un pouvoir d'appréciation que le Tribunal fédéral revoit avec retenue. La procédure doit se poursuivre lorsqu'une condamnation apparaît plus vraisemblable qu'un acquittement ou lorsque les probabilités d'acquittement et de condamnation apparaissent équivalentes, en particulier en présence d'une infraction grave (<ref-ruling> consid. 4.1.2 p. 91; 186 consid. 4.1 p. 190; <ref-ruling> consid. 2.5 p. 288 s.).
3.2. Aux termes de l'<ref-law>, celui qui aura commis un acte d'ordre sexuel sur un enfant de moins de 16 ans, celui qui aura entraîné un enfant de cet âge à commettre un acte d'ordre sexuel, celui qui aura mêlé un enfant de cet âge à un acte d'ordre sexuel, sera puni d'une peine privative de liberté de cinq ans au plus ou d'une peine pécuniaire.
Par acte d'ordre sexuel, il faut entendre une activité corporelle sur soi-même ou sur autrui qui tend à l'excitation ou à la jouissance sexuelle de l'un des participants au moins (par ex.: arrêt 6B_103/2011 du 6 juin 2011 consid. 1.1 et les références citées). Selon la jurisprudence, il faut d'abord distinguer les actes n'ayant aucune apparence sexuelle, qui ne tombent pas sous le coup de la loi, des actes clairement connotés sexuellement du point de vue de l'observateur neutre, qui remplissent toujours la condition objective de l'infraction, indépendamment des mobiles de l'auteur ou de la signification que le comportement a pour celui-ci ou pour la victime (arrêts 6B_103/2011 précité consid. 1.1; 6B_7/2011 du 15 février 2011 consid. 1.2; 6B_777/2009 du 25 mars 2010 consid. 4.3; 6S.355/2006 du 7 décembre 2006 consid. 3.1, non publié à l'<ref-ruling>). Les comportements simplement inconvenants, inappropriés, indécents, de mauvais goût, impudiques ou désagréables doivent, cependant, demeurer hors du champ des actes pénalement répréhensibles (<ref-ruling> consid. 3b p. 63, SJ 1999 I p. 439).
Les comportements dits équivoques, qui n'apparaissent extérieurement ni neutres, ni clairement connotés sexuellement, sont à cet égard problématiques. La majorité des cas décrits en justice concerne un examen gynécologique pratiqué sur la victime par un médecin ou les soins de nettoyage corporel pratiqués sur un enfant en bas âge. Dans les cas douteux, la majorité de la doctrine et la jurisprudence privilégient une appréciation objective qui ne prend pas en compte le mobile de l'auteur (MICHEL DUPUIS ET AL., Petit commentaire du Code pénal, 2012, n°24 ad <ref-law>; PHILIPPE MAIER, Basler Kommentar, Strafrecht II, 3e éd., 2013, n°26 ad rem. prél. <ref-law>). Il faut que pour un observateur extérieur, le comportement apparaisse clairement comme un acte à caractère sexuel au vu de l'ensemble des circonstances, soit notamment l'âge de la victime, sa différence d'âge avec l'auteur, la durée de l'acte et son intensité (geste furtif ou caresse insistante) ainsi que le lieu choisi par l'auteur. Peut être cité comme exemple la personne qui prodigue des soins corporels sur les parties génitales de la victime; son comportement ne sera considéré comme un acte d'ordre sexuel que s'il ne résulte pas d'une simple maladresse. Ne constitue pas un acte d'ordre sexuel, au sens de l'<ref-law>, le fait de doucher ou laver un mineur (MICHEL DUPUIS ET AL., op. cit., nos 22, 24-26 et 28 ad <ref-law> et les références citées).
3.3. Le recourant accuse son père de l'avoir frotté au niveau de son dos et de son sexe lorsqu'il prenait sa douche, alors qu'il était âgé de sept ou huit ans, de lui avoir « frotté le bas » à trois ou quatre reprises tout en indiquant qu'il ne prenait pas le sexe en mains et que cela ne durait pas longtemps.
La cour cantonale a constaté que les gestes décrits par le recourant ne constituaient pas des charges suffisantes pour retenir une prévention suffisamment vraisemblable d'infraction à l'<ref-law>. Cette approche, que le recourant ne discute pas, ne prête pas le flanc à la critique.
3.4. Le recourant accuse également son père de l'avoir fait dormir dans son lit, après l'avoir drogué, et de l'avoir sodomisé à plusieurs reprises, alors qu'il avait entre neuf et onze ans.
3.4.1. Comme l'a souligné la cour cantonale, le recourant indique n'avoir aucun souvenir de ces prétendues agressions, hormis le fait qu'au réveil le lendemain matin, il avait « mal en bas » et ressentait des brûlures anales. Ces accusations ne reposaient que sur ses seules allégations, en particulier sur les confidences faites à son beau-père et à son ex-petite amie en 2013, soit 11 ans après les faits incriminés. Cette dernière a d'ailleurs indiqué que le recourant mentait beaucoup sur sa vie. I._ a également exposé que la mère du recourant était intervenue en lui demandant d'aider son fils en lui expliquant le litige existant. Elle a souligné qu'elle ne pouvait croire aux accusations du recourant, tout en observant que son père était effectivement humiliant envers son fils. Quant à la mère du recourant, elle a uniquement assisté à une querelle entre le père et le fils, ce dernier l'interpellant sur les éventuels abus sexuels dont il soupçonnait avoir été victime de sa part. Par ailleurs, le recourant a, en raison de l'inaptitude des parents à pourvoir à son développement, été suivi dès l'âge de 2 ou 3 ans par un psychiatre puis par C._, dès 2003. Or, le recourant n'a jamais révélé à l'un de ses thérapeutes, ni à I._ auprès de qui il paraissait en confiance, ses doutes quant aux supposés actes d'ordre sexuel dont il aurait été victime, ni même évoqué les douleurs ressenties après les nuits passées avec son père. Quant au rapport rédigé le 14 octobre 2014 par la Dresse B._ et C._, la cour cantonale a souligné que le recourant avait été traumatisé durant son enfance, selon eux, possiblement ensuite de violences sexuelles, tout en relevant que les symptômes décrits n'étaient pas spécifiquement développés par les seules victimes d'abus sexuels. Enfin, lors de l'altercation survenue au cours du brigandage commis par le recourant chez son père avec F._, ce dernier a indiqué que lorsque le recourant avait interpellé son père sur les actes perpétrés, celui-ci aurait nié et baissé les yeux. Cela ne saurait suffire à confirmer les dires du recourant. Comme l'a relevé la cour cantonale, les divers témoignages ont permis de confirmer le comportement inapproprié du père du recourant, ce dernier se montrant à la limite de la violence, autoritaire et rabaissant envers son fils. Dès lors, le recourant a vécu dans une grande insécurité affective, le poussant, comme l'a constaté le Service de protection des mineurs, à se victimiser et à fabuler, généralement pour attirer l'attention sur lui ou pour se soustraire à toute contrainte.
3.4.2. Les seules affirmations du recourant, qui admet ne pas se souvenir des faits qu'il dénonce mais dont il pense néanmoins qu'ils se sont produits, ne sauraient suffire pour démontrer qu'une condamnation de l'intimé en vertu de l'<ref-law> serait plus vraisemblable que son acquittement. Il ressort en outre de l'appréciation de la cour cantonale, qui n'est pas critiquable, qu'aucun autre élément du dossier (déclarations de témoins, rapport de la Dresse B._ et C._) ne permet de soutenir l'accusation. Partant, en confirmant l'ordonnance de classement rendue par le ministère public, la cour cantonale n'a pas violé le principe " in dubio pro duriore ", pas plus que le principe de la légalité dont le premier découle.
4.
Mal fondé, le recours doit être rejeté dans la mesure où il est recevable. Les conclusions du recourant étaient vouées à l'échec, de sorte que l'assistance judiciaire doit être refusée (<ref-law>). Le recourant, qui succombe, supportera les frais judiciaires, qui seront toutefois réduits pour tenir compte de sa situation financière (art. 65 al. 2 et 66 al. 1 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté, dans la mesure où il est recevable.
2.
La demande d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties et à la Cour de justice de la République et canton de Genève, Chambre pénale de recours.
Lausanne, le 1er mars 2017
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Musy