Faits:
A. Par arrêté du 27 juillet 2011 publié dans la Feuille d'avis officielle du canton de Genève (ci-après: FAO) du 3 août 2011, le Conseil d'Etat du canton de Genève (ci-après: le Conseil d'Etat) a fixé au 27 novembre 2011 la date d'une votation cantonale pour laquelle le corps électoral genevois avait la possibilité de voter électroniquement par Internet.
Le 1er novembre 2011, A._, électeur dans le canton de Genève, a formé un recours auprès de la Chambre administrative de la Cour de justice du canton de Genève (ci-après: la Cour de justice) concernant la procédure de vote électronique mise en oeuvre pour la votation du 27 novembre 2011. Il a conclu principalement à l'annulation de la votation du 27 novembre 2011 et subsidiairement à la suspension de l'exercice du vote électronique pour la votation du 27 novembre 2011 et pour tout futur scrutin tant que les prescriptions prévues par l'art. 60 al. 6 de la loi sur l'exercice des droits politiques du 15 octobre 1982 (LEDP; RSG A 5 05) n'auraient pas été édictées. Il a développé une argumentation relative aux risques existant en matière de sécurité informatique.
Par acte du 21 novembre 2011, A._ a formé un second recours auprès de la Cour de justice "concernant la procédure de vote électronique mise en oeuvre pour la votation du 27 novembre 2011", concluant à la jonction de cette nouvelle procédure à celle déjà pendante et reprenant les conclusions de celle-ci. Son écriture était identique à celle produite le 1er novembre 2011, à l'exception du fait qu'il indiquait désormais avoir reçu le matériel de vote pour la votation du 27 novembre 2011, ce qui lui permettait de constater que la procédure de vote électronique mise en oeuvre était essentiellement la même que celle utilisée pour la votation du 15 mai 2011.
Le 19 décembre 2011, A._ a retiré sa conclusion en annulation de la votation du 27 novembre 2011, vu le résultat du scrutin, et indiqué maintenir ses recours pour le surplus.
Par arrêt du 21 août 2012, la Cour de justice a déclaré irrecevables les recours, en raison de l'absence de grief concret dirigé contre le système mis en place.
B. Agissant par la voie du recours en matière de droit public, A._ demande au Tribunal fédéral de renvoyer la cause à la Cour de justice pour qu'elle ordonne les mesures probatoires demandées, qu'elle statue sur le fond et qu'elle constate que l'instance précédente a violé l'art. 29 al. 1 Cst.
La Cour de justice s'en rapporte à justice quant à la recevabilité du recours et persiste dans les considérants et le dispositif de son arrêt. Le Conseil d'Etat conclut principalement à l'irrecevabilité du recours et subsidiairement à son rejet. Le recourant a répliqué par courrier du 15 novembre 2012.

Considérant en droit:
1. Le Tribunal fédéral examine d'office et librement la recevabilité des recours dont il est saisi.
1.1 Formé contre un arrêt final (<ref-law>) pris en dernière instance cantonale (art. 86 al. 1 let. d LTF) sur la base du droit public cantonal (<ref-law>), le présent recours est en principe recevable comme recours en matière de droit public au sens des <ref-law>, aucune des exceptions prévues à l'<ref-law> n'étant réalisée. Le recourant est directement touché par le prononcé d'irrecevabilité rendu par l'arrêt attaqué et a un intérêt digne de protection à en obtenir l'annulation. Il a dès lors qualité pour recourir au sens de l'<ref-law>.
1.2 La Cour de justice ayant refusé d'entrer en matière sur le recours, seule la question de la recevabilité du recours cantonal peut être portée devant le Tribunal fédéral qui n'a, à ce stade, pas à examiner le fond de la contestation. En cas d'admission du recours, la cause devrait être renvoyée à la Cour de justice pour qu'elle entre en matière sur le recours et statue au fond.
1.3 Le prononcé d'irrecevabilité est fondé sur le droit cantonal de procédure. Or, sous réserve des cas visés à l'art. 95 let. c à e LTF, la violation du droit cantonal ne constitue pas un motif de recours. Il est néanmoins possible de faire valoir que l'application des dispositions cantonales consacre une violation du droit fédéral au sens de l'<ref-law>, telle que l'interdiction de l'arbitraire (art. 9 Cst.). Le Tribunal fédéral n'examine cependant un tel moyen que s'il est formulé conformément aux exigences de motivation qualifiées prévues à l'<ref-law> (cf. <ref-ruling> consid. 2.4 p. 5; <ref-ruling> consid. 4 p. 560).
2. Le recourant, qui agit sans mandataire professionnel, considère que la Cour de justice a rendu à tort un prononcé d'irrecevabilité. Il se plaint d'une application arbitraire de l'art. 180 LEDP.
2.1 L'art. 180 LEDP régit le recours en matière cantonale et communale. Il prévoit que le recours à la Chambre administrative de la Cour de justice est ouvert contre les violations de la procédure des opérations électorales indépendamment de l'existence d'une décision.
L'objet du recours prévu à l'art. 180 LEDP est défini de façon très large, la notion de "procédure des opérations électorales" englobant aussi bien les actes préparatoires que le vote lui-même. La Cour de justice a rappelé que tout acte destiné aux électeurs et de nature à influencer la libre formation de l'expression du droit de vote constituait une opération électorale, selon sa jurisprudence. Elle a jugé que l'envoi à tous les électeurs du matériel de vote faisait partie de cette procédure, de sorte qu'elle était matériellement compétente pour trancher le litige.
La Cour de justice a ensuite considéré que les critiques émises par le recourant à l'encontre du système de vote électronique mis en place dans le canton de Genève étaient personnelles et abstraites, ne mettaient pas en évidence le moindre incident précis dans le processus antérieur, concomitant ou postérieur à l'opération électorale du 27 novembre 2011. Elle a ajouté que le recourant ne soutenait pas que les failles - réelles ou supposées - qu'il dénonce dans le système aient été utilisées, de surcroît avec succès. Faute de grief concret permettant de retenir que l'un ou l'autre aspect du système ne serait pas conforme au droit ou que le résultat d'une votation est entaché d'un irrégularité précise ayant concrètement influencé celui-ci, l'instance précédente a déclaré le recours irrecevable.
2.2 La cour cantonale ne s'est cependant référée à aucune norme de procédure administrative qui conduirait au prononcé d'irrecevabilité dans une telle situation. En effet, selon l'art. 65 al. 1 et 2 la loi genevoise du 12 septembre 1985 sur la procédure administrative (LPA; RSG E 5 10), l'acte de recours doit contenir, sous peine d'irrecevabilité, la désignation de la décision attaquée et les conclusions du recourant, l'exposé des motifs ainsi que l'indication des moyens de preuve. La Cour de justice n'a pas considéré qu'un de ces éléments faisait défaut au recours litigieux. Elle n'a pas non plus imparti un délai au recourant pour compléter la motivation de son acte (cf. art. 65 al. 2 2ème phrase LPA; Thierry Tanquerel, Manuel de droit administratif, 2011, n. 1357). En retenant que les griefs n'étaient pas formulés de manière concrète, l'instance précédente a procédé à une qualification des griefs, ce qui relève en réalité du fond et non de la forme. C'est donc à tort qu'elle a déclaré le recours irrecevable pour ce motif. Si la cour cantonale entendait traiter du fond, elle ne pouvait pas rendre, comme en l'espèce, une décision de non-entrée en matière. Elle devait au contraire discuter les griefs matériels énoncés par le recourant et, cas échéant, prononcer un rejet du recours si l'argumentation de celui-ci ne parvenait pas à démontrer la violation des normes cantonales en matière de droits politiques.
Quant à la référence à l'arrêt du Tribunal de céans 1C_329/2011 - opérée par le Conseil d'Etat -, elle n'est pas pertinente, puisque dans cette affaire le recours avait été déclaré irrecevable en raison du non-respect du délai légal de recours (art. 62 al. 1 let. c LPA).
2.3 S'agissant des autres conditions de recevabilité, l'art. 60 al. 1 let. b LPA reconnaît la qualité pour recourir à toute personne qui est touchée directement par une décision et a un intérêt personnel digne de protection à ce qu'elle soit annulée ou modifiée. Il est fait exceptionnellement abstraction de l'exigence d'un intérêt actuel, lorsque la contestation peut se reproduire en tout temps dans des circonstances identiques ou analogues, que sa nature ne permet pas de la trancher avant qu'elle ne perde son actualité et que, en raison de sa portée de principe, il existe un intérêt public suffisamment important à la solution de la question litigieuse (<ref-ruling> consid. 1.3.1 p. 25 et la jurisprudence citée).
En l'espèce, le recourant n'a certes plus d'intérêt actuel au recours, dans la mesure où l'objet de la contestation porte sur la procédure de vote électronique utilisée lors de la votation du 27 novembre 2011. Il y a toutefois lieu de renoncer ici à cette exigence, car le recours soulève une question qui revêt une portée de principe et qui pourrait se poser à nouveau dans des termes semblables sans que le Tribunal fédéral soit en mesure de se prononcer en temps utile. Le recourant dispose donc de la qualité pour recourir.
2.4 En définitive, le jugement attaqué viole le droit fédéral en tant qu'il déclare le recours irrecevable, au motif que les griefs avancés par le recourant ne sont pas concrets. Il doit par conséquent être annulé. Il convient de renvoyer la cause à la Cour de justice pour qu'elle statue sur les arguments de fond.
3. Il s'ensuit que le recours est admis, sans qu'il soit nécessaire d'examiner les autres griefs et conclusions formulés par le recourant. Il n'y a pas lieu de percevoir des frais judiciaires, le Conseil d'Etat en étant dispensé (<ref-law>). Il n'est pas alloué de dépens au recourant qui n'en demande pas et qui a agi sans l'assistance d'un avocat (art. 68 al. 1 et 2 LTF). Il appartiendra à la cour cantonale de statuer également sur le sort des frais et des dépens cantonaux.

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est admis. L'arrêt attaqué est annulé et la cause renvoyée à la Cour de justice du canton de Genève.
2. Il n'est pas perçu de frais judiciaires, ni alloué de dépens.
3. Le présent arrêt est communiqué au recourant, au Conseil d'Etat et à la Cour de justice du canton de Genève, Chambre administrative.
Lausanne, le 27 mars 2013
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Juge présidant: Aemisegger
La Greffière: Tornay Schaller