Faits : A. A.a. Suite à une plainte pénale déposée par la société Y._ Sàrl, X._ a été entendu par la police en date du 19 février 2004, puis inculpé par le juge d'instruction le 27 avril 2004 d'accès indu à un système informatique et de détérioration de données. Le 2 mai 2005, la procédure pénale contre X._ a été classée par le Procureur général, sous réserve de faits nouveaux. A la suite d'un rapport de police du 30 juin 2005 relatant l'audition de divers témoins dont celle de Z._, qui mettait en cause X._, le Procureur a retourné la procédure au juge d'instruction pour complément d'enquête. Six audiences d'instruction se sont tenues entre 2005 et fin 2007. Par jugement du 5 mai 2009, le Tribunal de police a acquitté X._ des accusations d'accès indu à un système informatique et de détérioration de données, retenant que les problèmes techniques soulevés par la défense, que l'inspecteur en charge de l'enquête avait admis ne pas maîtriser, ébranlaient sa conviction. A.b. Le 21 mai 2010, X._ a saisi le Tribunal d'application des peines et des mesures du canton de Genève (TAPEM) d'une requête en indemnisation dirigée contre l'Etat de Genève, concluant au versement de 100'975 fr. 50 avec intérêts à 5% dès le 5 mai 2009. Par jugement du 12 octobre 2010, le TAPEM a condamné l'Etat de Genève à verser à X._ la somme de 10'000 fr.-, avec intérêts à 5% dès le 5 mai 2009, à titre d'indemnité globale pour le préjudice matériel et le tort moral résultant de la procédure pénale. B. Le 10 septembre 2012, X._ a déposé une demande en indemnisation contre l'Etat de Genève, concluant à la condamnation de celui-ci à lui verser 90'975 fr. 50 avec intérêts à 5% dès le 5 mai 2009. Par jugement du 30 janvier 2014, le Tribunal de première instance du canton de Genève (ci-après: le Tribunal de première instance) a condamné l'Etat de Genève à verser à X._ la somme de 79'443 fr. plus intérêts moratoires. Il a retenu en substance qu'aucun acte illicite ne pouvait être retenu, de sorte que l'art. 2 al. 1 de la loi cantonale genevoise du 24 février 1989 sur la responsabilité de l'Etat et des communes (LREC; RSG A 2 40) était inapplicable. En revanche, il a considéré que l'équité commandait de faire application de l'art. 4 LREC (responsabilité pour acte licite). Par arrêt du 7 novembre 2014, la Chambre civile de la Cour de justice du canton de Genève (ci-après: la Cour de justice) a admis l'appel interjeté par l'Etat de Genève et débouté X._ de toutes ses conclusions. C. A l'encontre de cet arrêt, X._ a interjeté un recours en matière civile au Tribunal fédéral. Il conclut, sous suite de frais et dépens, principalement, à l'annulation de l'arrêt de la Cour de justice du 7 novembre 2014 et à la condamnation de l'Etat de Genève au versement de la somme de 90'975 fr. 50 avec intérêts à 5 % dès le 5 mai 2009, subsidiairement, au renvoi de la cause à l'instance précédente pour nouvelle décision dans le sens des considérants. L'Etat de Genève s'en rapporte à justice quant à la recevabilité du recours et conclut au fond au rejet du recours de l'intéressé, sous suite de frais. X._ a déposé des observations complémentaires.