Faits: Faits: A. A._ s'est inscrit comme étudiant à la Haute école de gestion de Genève (ci-après: HEG), dans la filière "Economie d'entreprise", à la rentrée académique 2001-2002. Il a réussi les trois premières années de formation, obtenant la moyenne générale de 4,8 (sur 6) pour la troisième année. De septembre à novembre 2004, il a élaboré un travail de diplôme, qui a fait l'objet d'une soutenance le 6 décembre 2004. L'intéressé s'est vu attribuer la note 1,5 pour ce travail et s'est donc trouvé en échec. Il a déposé, le 24 ou le 25 avril 2005, une nouvelle version de ce travail qui a fait l'objet d'une soutenance le 24 mai 2005. A._ a alors obtenu la note 3. Par courrier du 6 juin 2005, la HEG l'a informé de son échec définitif aux études de la filière "Economie d'entreprise". A. A._ s'est inscrit comme étudiant à la Haute école de gestion de Genève (ci-après: HEG), dans la filière "Economie d'entreprise", à la rentrée académique 2001-2002. Il a réussi les trois premières années de formation, obtenant la moyenne générale de 4,8 (sur 6) pour la troisième année. De septembre à novembre 2004, il a élaboré un travail de diplôme, qui a fait l'objet d'une soutenance le 6 décembre 2004. L'intéressé s'est vu attribuer la note 1,5 pour ce travail et s'est donc trouvé en échec. Il a déposé, le 24 ou le 25 avril 2005, une nouvelle version de ce travail qui a fait l'objet d'une soutenance le 24 mai 2005. A._ a alors obtenu la note 3. Par courrier du 6 juin 2005, la HEG l'a informé de son échec définitif aux études de la filière "Economie d'entreprise". B. Par décision du 27 octobre 2005, la Direction générale de la Haute école de Genève (ci-après: la Haute école de Genève) - qui regroupe les écoles genevoises de formation en Haute école spécialisée dont la HEG (cf. art. 10 de la loi cantonale genevoise du 19 mars 1998 sur les Hautes écoles spécialisées) - a rejeté le recours de A._ contre la décision de la HEG du 6 juin 2005. B. Par décision du 27 octobre 2005, la Direction générale de la Haute école de Genève (ci-après: la Haute école de Genève) - qui regroupe les écoles genevoises de formation en Haute école spécialisée dont la HEG (cf. art. 10 de la loi cantonale genevoise du 19 mars 1998 sur les Hautes écoles spécialisées) - a rejeté le recours de A._ contre la décision de la HEG du 6 juin 2005. C. Par arrêt du 14 mars 2006, le Tribunal administratif du canton de Genève (ci-après: le Tribunal administratif) a rejeté le recours de A._ contre la décision de la Haute école de Genève du 27 octobre 2005. Il a considéré que le droit applicable en l'espèce avait été respecté. C. Par arrêt du 14 mars 2006, le Tribunal administratif du canton de Genève (ci-après: le Tribunal administratif) a rejeté le recours de A._ contre la décision de la Haute école de Genève du 27 octobre 2005. Il a considéré que le droit applicable en l'espèce avait été respecté. D. Agissant par la voie du recours de droit public, A._ demande au Tribunal fédéral, sous suite de dépens, d'annuler l'arrêt du Tribunal administratif du 14 mars 2006 et de renvoyer la cause à cette autorité pour nouvelle décision. Il se plaint en substance de violation du droit d'être entendu. Il reproche aussi à l'autorité intimée d'avoir enfreint le concordat intercantonal du 9 janvier 1997 créant une Haute école spécialisée de Suisse occidentale (HES-SO), en vigueur pour le canton de Genève depuis le 19 octobre 1999, (ci-après: le Concordat). Il requiert l'assistance judiciaire. Le Tribunal administratif a renoncé à formuler des observations sur le recours. La Haute école de Genève demande au Tribunal fédéral de rejeter le recours ainsi que de confirmer l'arrêt attaqué et la décision de la HEG du 6 juin 2005. La HEG n'a pas répondu au recours dans le délai imparti à cet effet.