Faits : A. Par arrêté du 27 juillet 2011 publié dans la Feuille d'avis officielle du canton de Genève du 3 août 2011, le Conseil d'Etat du canton de Genève (ci-après: le Conseil d'Etat) a fixé au 27 novembre 2011 la date d'une votation cantonale pour laquelle le corps électoral genevois avait la possibilité de voter électroniquement par Internet. Le 1 er novembre 2011, Richard Hill, électeur dans le canton de Genève, a formé un recours auprès de la Chambre administrative de la Cour de justice du canton de Genève (ci-après: la Cour de justice) concernant la procédure de vote électronique mise en oeuvre pour la votation du 27 novembre 2011. Il a conclu principalement à l'annulation de la votation du 27 novembre 2011 et subsidiairement à la suspension de l'exercice du vote électronique pour la votation du 27 novembre 2011 et pour tout futur scrutin tant que les prescriptions prévues par l'art. 60 al. 6 de la loi sur l'exercice des droits politiques du 15 octobre 1982 (LEDP; RSG A 5 05) n'auraient pas été édictées. Il a développé une argumentation relative aux risques existants en matière de sécurité informatique. Par acte du 21 novembre 2011, Richard Hill a formé un second recours auprès de la Cour de justice "concernant la procédure de vote électronique mise en oeuvre pour la votation du 27 novembre 2011", concluant à la jonction de cette nouvelle procédure à celle déjà pendante et reprenant les conclusions de celle-ci. Son écriture était identique à celle produite le 1 er novembre 2011, à l'exception du fait qu'il indiquait désormais avoir reçu le matériel de vote pour la votation du 27 novembre 2011, ce qui lui permettait de constater que la procédure de vote électronique mise en oeuvre était essentiellement la même que celle utilisée pour la votation du 15 mai 2011. Le 19 décembre 2011, Richard Hill a retiré sa conclusion en annulation de la votation du 27 novembre 2011, vu le résultat du scrutin, et indiqué maintenir ses recours pour le surplus. Par arrêt du 21 août 2012, la Cour de justice a déclaré irrecevables les recours, en raison de l'absence de grief concret dirigé contre le système mis en place. Saisi sur recours, le Tribunal fédéral a annulé l'arrêt du 21 août 2012 en tant qu'il déclarait le recours irrecevable et a renvoyé la cause à la cour cantonale pour qu'elle statue sur le fond du litige (arrêt 1C_477/2012 du 27 mars 2013). Il a considéré que l'instance précédente ne s'était référée à aucune norme de procédure pour prononcer l'irrecevabilité des recours et que si elle entendait traiter du fond du litige, elle devait entrer en matière et discuter les griefs. A la suite de cet arrêt, la Cour de justice a, par arrêt du 25 février 2014, rejeté les recours, après avoir procédé à une appréciation anticipée des preuves pour refuser l'audition des parties et de témoins. En substance, elle a constaté que les griefs se limitaient à des critiques personnelles à l'encontre du système de vote électronique, formulées sous la forme d'allégués généraux, de sorte qu'il n'existait aucune violation de la liberté de vote des citoyens. Elle a aussi rejeté le grief de la violation du principe de célérité avant de rendre l'arrêt du 21 août 2012, au motif que l'intéressé avait sollicité de nombreux délais supplémentaires. B. Agissant par la voie du recours en matière de droit public, Richard Hill demande au Tribunal fédéral implicitement d'annuler l'arrêt du 25 février 2014, de "reconnaître qu'il n'y a pas lieu de permettre à tous les électeurs de voter par voie électronique, d'ordonner à l'Etat de suspendre l'exercice du vote électronique pour tout futur scrutin, tant que les prescriptions prévues par l'art. 60 al. 6 LEDP n'auront pas été édictées et de constater que l'instance précédente a violé l'art. 29 al. 1 Cst.". Il conclut subsidiairement au renvoi de la cause à l'instance précédente afin qu'elle ordonne les mesures probatoires demandées par le recourant et qu'elle statue à nouveau sur le fond. La Cour de justice s'en rapporte à justice quant à la recevabilité du recours et persiste dans les considérants et le dispositif de son arrêt. Le Conseil d'Etat conclut principalement à l'irrecevabilité du recours et subsidiairement à son rejet. Le recourant a répliqué par courrier du 12 mai 2014.