Faits: A. Par arrêté du 2 février 2011, publié dans la Feuille d'avis officielle du canton de Genève (ci-après : FAO) le 4 février 2011, le Conseil d'Etat du canton de Genève (ci-après: le Conseil d'Etat) a fixé au dimanche 15 mai 2011 la date d'une votation cantonale, pour laquelle le corps électoral genevois résidant dans le canton ou à l'étranger dans certains pays, avait la possibilité de voter électroniquement par Internet. Par courriers des 21 avril et 4 mai 2011, A._, électeur dans le canton de Genève, a demandé au Conseil d'Etat de suspendre l'exercice du vote électronique pour la votation du 15 mai 2011, puis d'annuler le scrutin du 15 mai 2011. Il développait une argumentation relative aux risques existant en matière de sécurité informatique. Par arrêt du 17 mai 2011, la Chambre administrative de la Cour de justice (ci-après : la Cour de justice) a déclaré irrecevable pour cause de tardiveté, le recours interjeté le 12 mai 2011 par A._, concluant à l'annulation de la votation et subsidiairement à la reconnaissance du fait qu'il n'y avait pas lieu de permettre aux électeurs de voter électroniquement, cette faculté devant être suspendue pour tout futur scrutin. Par arrêté du 18 mai 2011, publié dans la FAO du 20 mai 2011, le Conseil d'Etat a constaté les résultats du scrutin du 15 mai 2011. Le 24 mai 2011, A._ a recouru contre l'arrêté précité auprès de la Cour de justice, qui a déclaré son recours irrecevable pour cause de tardiveté, par arrêt du 28 juin 2011. Elle a considéré en substance que l'intéressé ne contestait pas le résultat de la votation mais remettait en cause le principe et les modalités du vote par Internet, en reprenant intégralement les griefs soulevés dans ses courriers adressés au Conseil d'Etat et dans son premier recours. B. Le 3 août 2011, agissant par la voie du recours en matière de droit public, A._ demande au Tribunal fédéral d'annuler l'arrêt du 28 juin 2011 et de renvoyer la cause à la Cour de justice pour qu'elle ordonne les mesures probatoires demandées et qu'elle entre en matière sur le fond. Il conclut également à l'annulation de l'arrêté du 27 juillet 2011 du Conseil d'Etat relatif à la validation de la votation populaire du 15 mai 2011. La Cour de justice s'en rapporte à justice quant à la recevabilité du recours et persiste dans les considérants et le dispositif de son arrêt. Le Conseil d'Etat conclut principalement à l'irrecevabilité du recours et subsidiairement à son rejet. Le recourant a répliqué par courrier du 30 septembre 2011.