Faits:
A. Par arrêté du 2 février 2011, publié dans la Feuille d'avis officielle du canton de Genève (ci-après : FAO) le 4 février 2011, le Conseil d'Etat du canton de Genève (ci-après: le Conseil d'Etat) a fixé au dimanche 15 mai 2011 la date d'une votation cantonale, pour laquelle le corps électoral genevois résidant dans le canton ou à l'étranger dans certains pays, avait la possibilité de voter électroniquement par Internet.
Par courriers des 21 avril et 4 mai 2011, A._, électeur dans le canton de Genève, a demandé au Conseil d'Etat de suspendre l'exercice du vote électronique pour la votation du 15 mai 2011, puis d'annuler le scrutin du 15 mai 2011. Il développait une argumentation relative aux risques existant en matière de sécurité informatique.
Par arrêt du 17 mai 2011, la Chambre administrative de la Cour de justice (ci-après : la Cour de justice) a déclaré irrecevable pour cause de tardiveté, le recours interjeté le 12 mai 2011 par A._, concluant à l'annulation de la votation et subsidiairement à la reconnaissance du fait qu'il n'y avait pas lieu de permettre aux électeurs de voter électroniquement, cette faculté devant être suspendue pour tout futur scrutin.
Par arrêté du 18 mai 2011, publié dans la FAO du 20 mai 2011, le Conseil d'Etat a constaté les résultats du scrutin du 15 mai 2011. Le 24 mai 2011, A._ a recouru contre l'arrêté précité auprès de la Cour de justice, qui a déclaré son recours irrecevable pour cause de tardiveté, par arrêt du 28 juin 2011. Elle a considéré en substance que l'intéressé ne contestait pas le résultat de la votation mais remettait en cause le principe et les modalités du vote par Internet, en reprenant intégralement les griefs soulevés dans ses courriers adressés au Conseil d'Etat et dans son premier recours.
B. Le 3 août 2011, agissant par la voie du recours en matière de droit public, A._ demande au Tribunal fédéral d'annuler l'arrêt du 28 juin 2011 et de renvoyer la cause à la Cour de justice pour qu'elle ordonne les mesures probatoires demandées et qu'elle entre en matière sur le fond. Il conclut également à l'annulation de l'arrêté du 27 juillet 2011 du Conseil d'Etat relatif à la validation de la votation populaire du 15 mai 2011.
La Cour de justice s'en rapporte à justice quant à la recevabilité du recours et persiste dans les considérants et le dispositif de son arrêt. Le Conseil d'Etat conclut principalement à l'irrecevabilité du recours et subsidiairement à son rejet. Le recourant a répliqué par courrier du 30 septembre 2011.

Considérant en droit:
1. Le Tribunal fédéral examine d'office et librement la recevabilité des recours dont il est saisi.
1.1 Formé contre un arrêt final (<ref-law>) pris en dernière instance cantonale (art. 86 al. 1 let. d LTF) sur la base du droit public cantonal (<ref-law>), le présent recours est en principe recevable comme recours en matière de droit public au sens des <ref-law>, aucune des exceptions prévues à l'<ref-law> n'étant réalisée. Le recourant est directement touché par le prononcé d'irrecevabilité confirmé par l'arrêt attaqué et a un intérêt digne de protection à en obtenir l'annulation. Il a dès lors qualité pour recourir au sens de l'<ref-law>.
1.2 La Cour de justice ayant refusé d'entrer en matière sur le recours, seule la question de la recevabilité du recours cantonal peut donc être portée devant le Tribunal fédéral qui n'a, à ce stade, pas à examiner le fond de la contestation. En cas d'admission du recours, la cause devrait être renvoyée à la Cour de justice pour qu'elle entre en matière sur le recours et statue au fond. En conséquence, seules sont admissibles les conclusions tendant à l'annulation de l'arrêt attaqué, à l'exclusion de celles sur le fond, et des griefs à leur appui, qui sont irrecevables (cf. <ref-ruling> consid. 6.3 p. 121). Dans la mesure où le recourant demande au Tribunal fédéral d'annuler l'arrêté du 18 mai 2011, il prend des conclusions sur le fond qui ne sont pas recevables. Quant à sa conclusion visant l'annulation de l'arrêté du 27 juillet 2011 du Conseil d'Etat - postérieur à l'arrêt attaqué -, elle est nouvelle et partant irrecevable (<ref-law>).
1.3 Le prononcé d'irrecevabilité est fondé sur le droit cantonal de procédure. Or, sous réserve des cas visés à l'art. 95 let. c à e LTF, la violation du droit cantonal ne constitue pas un motif de recours. Il est néanmoins possible de faire valoir que l'application des dispositions cantonales consacre une violation du droit fédéral au sens de l'<ref-law>, telle que l'interdiction de l'arbitraire (art. 9 Cst.). Le Tribunal fédéral n'examine cependant un tel moyen que s'il est formulé conformément aux exigences de motivation qualifiées prévues à l'<ref-law> (cf. <ref-ruling> consid. 2.4 p. 5; <ref-ruling> consid. 4 p. 560).
2. Le recourant se plaint d'un établissement arbitraire des faits (<ref-law>) et sollicite différentes rectifications de l'état de fait arrêté par l'instance précédente.
2.1 Le Tribunal fédéral conduit son raisonnement juridique sur la base des faits établis par l'autorité précédente (<ref-law>). Il ne peut s'en écarter que si les faits ont été établis de façon manifestement inexacte - notion qui correspond à celle d'arbitraire au sens de l'art. 9 Cst. (<ref-ruling> consid. 4.1.2) - ou en violation du droit au sens de l'<ref-law> (<ref-law>), et pour autant que la correction du vice soit susceptible d'influer sur le sort de la cause (<ref-law>).
Le recourant qui entend contester les constatations de l'autorité précédente doit expliquer de manière circonstanciée en quoi les conditions d'une exception prévue par l'<ref-law> sont réalisées, faute de quoi il n'est pas possible de tenir compte d'un état de fait qui diverge de celui contenu dans la décision attaquée (<ref-ruling> consid. 1.4.3).
S'agissant plus précisément de l'appréciation des preuves et de l'établissement des faits, il y a arbitraire lorsque l'autorité ne prend pas en compte, sans aucune raison sérieuse, un élément de preuve propre à modifier la décision, lorsqu'elle se trompe manifestement sur son sens et sa portée, ou encore lorsque, en se fondant sur les éléments recueillis, elle en tire des constatations insoutenables (<ref-ruling> consid. 4.2 p. 234; <ref-ruling> consid. 4.2 p. 560) et si la décision se révèle en plus arbitraire dans son résultat (art. 97 al. 1 in fine LTF; <ref-ruling> consid. 2.4 p. 5; <ref-ruling> consid. 2.2.2 p. 318 s.; <ref-ruling> consid. 5.4 p. 148; <ref-ruling> consid. 3.1 p. 153). Celui qui se plaint d'arbitraire ne saurait se borner à critiquer la décision attaquée comme il le ferait en procédure d'appel, où l'autorité de recours jouit d'une libre cognition; il ne peut, en particulier, se contenter d'opposer sa thèse à celle de l'autorité précédente (<ref-ruling> consid. 3 p. 352; <ref-ruling> consid. 3.2 p. 400).
2.2 En l'occurrence, le recourant a mis en cause la fiabilité du système de vote électronique genevois, sous différents aspects. Il reproche à la Cour de justice de ne pas avoir mentionné dans son état de fait toutes les critiques qu'il avait formulées.
Le recourant fait d'abord grief à la Cour de justice de ne pas avoir retenu son affirmation selon laquelle il y aurait un "large consensus parmi les experts informatiques que le vote par Internet ne satisferait pas aux conditions de sécurité requise dans une démocratie". C'est également à tort que l'instance précédente n'aurait pas mentionné son allégation selon laquelle le Conseil d'Etat n'a pas tenu compte des recommandations d'un expert en sécurité mandaté par la Chancellerie d'Etat. L'intéressé critique également l'instance précédente, en ce qu'elle n'a pas indiqué qu'il alléguait qu'un "pirate informatique pourrait accéder aux serveurs de l'Etat et retrouver les noms et les votes des électeurs", qu'il était "impossible de vérifier si une personne a utilisé de multiples cartes de vote pour voter plusieurs fois" et qu'un "logiciel malveillant aurait pu s'entreposer entre le clavier utilisé par l'électeur et le navigateur Internet". Il soutient, sans nullement le démontrer, que la rectification des éléments précités permettrait d'établir que le recours du 24 mai 2011 donnait des "indices suffisants" et concrets "pour douter de manière générale du canal Internet" ou pour "établir que les ordinateurs personnels sont sujets à des attaques qui peuvent les rendre non fiables". Il n'établit cependant pas que les rectifications qu'il sollicite apporteraient la preuve concrète qu'une des failles qu'il dénonce ait été utilisée en l'espèce.
Par ailleurs, la Cour de justice a retenu que le recourant "n'avait pas reçu de consigne concernant la sécurité de son matériel informatique. L'envoi de vote par Internet ne correspondant pas à la volonté de l'électeur ne pouvait être exclu. Le vote électronique ne pouvait être vérifié ni corrigé dans ce cas. Il était possible pour un électeur de voter deux fois et, au vu de l'ensemble de ces éléments, le résultat concernant le cinquième objet [soumis à votation le 15 mai 2011] ne pouvait être validé". Le recourant avance que cette formulation n'est "pas tout à fait exacte" et procède à une reformulation en établissant une analogie avec le vote par correspondance. Partant, il n'expose pas en quoi cette précision permettrait d'établir un grief concret contre le dépouillement et le résultat de la votation.
Dès lors, l'intéressé ne démontre pas en quoi les rectifications de l'état de fait litigieux sollicitées permettraient de trancher différemment la question de la recevabilité du recours devant l'instance cantonale. Faute d'avoir une influence déterminante sur l'issue de la procédure, le grief de l'établissement arbitraire des faits doit être écarté.
3. Le recourant prétend que son recours "conteste clairement le résultat technique de la votation, c'est-à-dire le dépouillement et le fait qu'aucun vrai contrôle ne peut avoir lieu concernant les voix envoyées par Internet". A cet égard, il se plaint d'une application arbitraire des art. 180 et 76 al. 3 de la loi genevoise sur l'exercice des droits politiques du 15 octobre 1982 (LEDP; RSG A 5 05) ainsi que l'art. 62 al. 1 let. c de la loi genevoise du 12 septembre 1985 sur la procédure administrative (LPA; RSGE E 5 10). Il fait aussi grief à la cour cantonale d'avoir conclu, sur la base d'une appréciation arbitraire des faits, qu'il n'avait formulé aucun grief concret contre le dépouillement et le résultat de la votation du 15 mai 2011. Dans la mesure où on les comprend, les griefs d'appréciation arbitraire des faits et d'application arbitraire des articles précités se confondent et doivent être examinés ensemble.
3.1 L'art. 180 LEDP régit le recours en matière cantonale et communale. Il prévoit que le recours à la Chambre administrative de la Cour de justice est ouvert contre les violations de la procédure des opérations électorales indépendamment de l'existence d'une décision.
A teneur de l'art. 76 al. 3 LEDP, la publication mentionne qu'un recours est ouvert contre les résultats de l'opération électorale.
L'art. 60 al. 6 LEDP prévoit que le Conseil d'Etat édicte les prescriptions relatives à la mise en ?uvre du vote électronique, notamment pour les aspects techniques, de contrôle et de sécurité et qu'il est autorisé à renoncer ou à suspendre l'exercice du vote électronique s'il considère que les conditions de sécurité ne sont pas garanties.
Conformément à l'art. 62 al. 1 let. c LPA, le délai de recours est de six jours en matière de votations et d'élections. Selon la jurisprudence cantonale genevoise, ce délai court à partir du moment où l'intéressé a eu connaissance de l'acte qu'il considère comme une atteinte à ses droits politiques (arrêt du Tribunal administratif ATA/459/2009 du 15 septembre 2009; arrêt de la Chambre administrative de la Cour de justice ATA/181/2011 du 17 mars 2011).
3.2 Appelé à revoir l'interprétation d'une norme sous l'angle de l'arbitraire, le Tribunal fédéral ne s'écarte de la solution retenue par l'autorité cantonale de dernière instance que si celle-ci apparaît insoutenable, en contradiction manifeste avec la situation effective, adoptée sans motifs objectifs et en violation d'un droit certain. En revanche, si l'application de la loi défendue par l'autorité cantonale ne s'avère pas déraisonnable ou manifestement contraire au sens et au but de la disposition ou de la législation en cause, cette interprétation sera confirmée, même si une autre solution - éventuellement plus judicieuse - paraît possible (<ref-ruling> consid. 2.4 p. 5; <ref-ruling> consid. 2.2.2 p. 318 s.; <ref-ruling> consid. 4.1 p. 133).
3.3 La Cour de justice a retenu que le recourant ne formulait pas de griefs concrets contre le dépouillement et le résultat de la votation du 15 mai 2011 et qu'il ne donnait pas d'indices permettant de penser que l'une des failles qu'il dénonce dans le système ait été concrètement utilisée. Elle a considéré que l'intéressé se limitait à émettre des hypothèses remettant en cause le principe et les modalités du vote par Internet. Elle a conclu que le recourant ne contestait pas le résultat de la votation, visé à l'art. 79 al. 3 [recte 76] LEDP, mais alléguait des violations de la procédure des opérations électorales mentionnées à l'art. 180 LEDP. Partant, il aurait dû agir dans les six jours après avoir eu connaissance des violations qu'il allègue, soit dans un délai de six jours après réception de son matériel de vote. Le dies a quo du délai de recours était donc au plus tard le 2 mai 2011 et le dies ad quem le 8 mai 2011 à minuit. L'instance précédente a par conséquent déclaré irrecevable le recours déposé le 24 mai 2011.
3.4 Le recourant soutient d'abord que l'absence de prescriptions de sécurité prévues par la loi cantonale est un "grief spécifique et concret" et que le peu de fiabilité du vote par Internet aurait dû permettre à l'instance précédente de retenir l'existence d'une irrégularité dans la constatation des résultats. Il s'agit selon lui d'une irrégularité aussi concrète que l'envoi en double du matériel de vote ou l'absence d'envoi de matériel de vote à un certain nombre de citoyens. Il avance encore avoir invoqué des motifs découlant des données techniques et chiffrées indiquées dans l'arrêté, tout en soutenant qu'on ne peut lui reprocher de ne pas avoir fourni d'indices de détournement autres que ceux invoqués, car ceux-ci sont, à son avis, "indétectables" vu le système utilisé à Genève. Partant, le recourant, qui précise qu'il ne conteste "pas le décompte des bulletins électroniques, mais le fait que ces bulletins correspondent certainement à la volonté des électeurs", se réfère uniquement à des allégations générales contre la fiabilité du vote électronique. Dans ces conditions, c'est de manière soutenable que la Cour de justice a estimé que les irrégularités invoquées n'étaient pas suffisamment concrètes pour contester les résultats de la votation du 15 mai 2011. Ce d'autant moins que le principe du vote électronique et la procédure y relative sont régis, avec l'approbation fédérale, à l'art. 60 LEDP adopté le 27 août 2009 par le parlement cantonal, après de nombreux débats au cours desquels la question de la sécurité a été centrale (cf. Rapport du Conseil d'Etat au Grand Conseil sur le projet genevois de vote électronique du 24 mai 2006).
Ensuite, le recourant prétend que le dies a quo du délai de recours est le jour de la publication des résultats de la votation du 15 mai 2011 dans la FAO, soit le 20 mai 2011: ce serait la certification par le Conseil d'Etat des résultats du dépouillement de l'urne électronique qui porterait une atteinte à ses droits politiques et qui ouvrirait le délai de recours; jusqu'à la publication desdits résultats, le Conseil d'Etat aurait en effet pu prendre en compte les requêtes du recourant et suspendre le vote en vertu de l'art. 60 al. 6 LEDP. Cette argumentation, qui relève de la spéculation, ne suffit toutefois pas à rendre insoutenable le raisonnement de la Cour de justice. Ainsi, l'instance précédente n'a pas fait preuve d'arbitraire en considérant que le recours interjeté plus de six jours après que l'intéressé avait reçu son matériel de vote était tardif.
4. Le recourant fait enfin valoir que le prononcé d'irrecevabilité viole son droit à disposer d'un recours utile devant un tribunal indépendant (art. 30 al. 1 Cst. et art. 2 al. 3 let. a du Pacte international relatif aux droits civils et politiques [Pacte ONU II; RS 0.103.2]). Pour autant qu'on le comprenne, il se plaint aussi d'une violation de son droit d'être entendu, au motif qu'il n'a pas pu faire valoir la violation des art. 25 let. b Pacte ONU II et 34 Cst.
Ces griefs, pour autant qu'ils soient recevables, doivent être d'emblée rejetés. En effet, le recourant méconnaît que tant l'art. 30 al. 1 Cst., à teneur duquel toute personne dont la cause doit être jugée dans une procédure judiciaire a droit à ce que sa cause soit portée devant un tribunal établi par la loi, compétent, indépendant et impartial, que les autres garanties d'accès à la justice, ne s'opposent pas aux conditions de recevabilité habituelles des recours (cf. <ref-ruling> consid. 4.3 p. 328 s.; Auer/ Malinverni/Hottelier, Droit constitutionnel suisse, vol. II, 2e éd., 2006, p. 565 n° 1205). En effet, ces garanties n'empêchent pas l'autorité saisie d'un recours de refuser d'entrer en matière sur celui-ci, lorsqu'il ne satisfait pas aux exigences formelles posées.
5. Il s'ensuit que le recours doit être rejeté, dans la mesure de sa recevabilité. Le recourant, qui succombe, doit supporter les frais de la présente procédure (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté, dans la mesure de sa recevabilité.
2. Les frais judiciaires, arrêtés à 1'000 francs, sont mis à la charge du recourant.
3. Le présent arrêt est communiqué au recourant, au Conseil d'Etat et à la Chambre administrative de la Cour de justice du canton de Genève.
Lausanne, le 22 décembre 2011
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président: Fonjallaz
La Greffière: Tornay Schaller