Faits:
A. Le 17 mai 2009 a eu lieu la votation fédérale relative d'une part à l'arrêté fédéral du 3 octobre 2008 "Pour la prise en compte des médecines complémentaires" (article constitutionnel), et d'autre part à l'arrêté fédéral du 13 juin 2008 concernant la reprise du Règlement relatif aux passeports biométriques et aux documents de voyage. Les résultats de la votation sur les passeports biométriques sont, pour le canton de Genève, les suivants:
Bulletins valables: 91'714
oui: 43'246
non: 48'468
Ces résultats ont été constatés par arrêté du Conseil d'Etat genevois du 20 mai 2009. Au niveau fédéral, cet objet a été accepté par 953'136 oui contre 947'632 non.
B. Le 24 mai 2009, le citoyen genevois Chucri Canaan a saisi le Conseil d'Etat. Il évoquait des soupçons de fraude et demandait qu'il soit procédé à une nouvelle votation dans certaines communes vaudoises ainsi que dans plusieurs autres cantons où diverses irrégularités auraient été constatées. Il exigeait également des contrôles par sondages. Il critiquait en particulier les modalités du vote électronique, et estimait que les résultats publiés n'étaient pas suffisamment détaillés. Il s'interrogeait sur le sort du matériel de vote de réserve et relevait que le vote par correspondance permettait lui aussi des fraudes.
C. Par arrêté du 3 juin 2009, le Conseil d'Etat a rejeté le recours dans la mesure de sa recevabilité, selon la procédure sommaire prévue à l'art. 79 al. 2bis LDP. La publication des résultats, notamment sur le site Internet de l'Etat puis dans la Feuille d'Avis Officielle, était détaillée et complète. Les allégations de fraude n'étaient pas étayées par le moindre indice. Le vote dans les EMS faisait l'objet de précautions et de contrôles suffisants. Les griefs concernant des irrégularités commises dans d'autres cantons étaient irrecevables.
D. Chucri Canaan forme un recours "de droit public" contre cette dernière décision. Il demande l'organisation d'un nouveau vote dans tous les cantons où le matériel de vote ne satisfait pas aux exigences légales, ainsi qu'une enquête dans d'autres cantons. Il demande que le Tribunal fédéral ordonne diverses mesures (publication du détail des votes électroniques, utilisation de matériel spécifique, abandon du vote électronique, vérification de la transparence des enveloppes de vote).
Le Conseil d'Etat conclut à l'irrecevabilité, subsidiairement au rejet du recours. La Chancellerie fédérale ne s'est pas déterminée.
Considérant en droit:
1. Selon les art. 82 let. c et 88 al. 1 let. b LTF, le recours en matière de droit public est ouvert contre les décisions prises par les gouvernements cantonaux en matière d'élections et de votations fédérales, conformément à l'art. 80 de la loi fédérale sur les droits politiques (LDP; RS 161.1). Ces décisions peuvent notamment porter sur la violation de dispositions concernant le droit de vote (art. 77 al. 1 let. a LDP) ou des irrégularités affectant les votations (art. 77 al. 1 let. b LDP).
1.1 Le recours a été déposé dans le délai de cinq jours prévu à l'art. 100 al. 3 let. b LTF.
1.2 Dans la mesure où il dispose du droit de vote dans l'affaire en cause, le recourant a qualité pour agir (art. 89 al. 3 LTF). La Chancellerie d'Etat estime, dans sa réponse, que le recourant n'aurait pas qualité pour se plaindre des modalités du vote électronique, dans la mesure où il est électeur dans une commune - la Ville de Genève - où ce mode de scrutin n'a pas été utilisé. Il n'en demeure pas moins que le recourant a en principe qualité pour se plaindre de toutes les éventuelles irrégularités qui auraient pu affecter le résultat de la votation. La question de la qualité pour agir sur ce point peut toutefois demeurer indécise, car le recours apparaît manifestement mal fondé.
1.3 Le recours en matière de droits politiques peut tendre non seulement à l'annulation de la décision de première instance mais aussi à l'annulation du scrutin (ATF 129 I 185 consid. 1.2 p. 188) ainsi qu'à un recomptage des voix (ATF 131 I 442).
Le recourant demande aussi un nouveau scrutin dans tous les cantons où le matériel de vote ne satisfait pas aux exigences légales. Il s'agit là d'une conclusion nouvelle qui n'a pas été soumise à l'instance précédente (art. 99 al. 2 LTF); dans son recours cantonal, le recourant demandait en effet de nouvelles votations dans les communes - vaudoises - et les autres cantons où des irrégularités auraient été constatées. Le Conseil d'Etat s'est pour sa part limité aux griefs dirigés contre la votation cantonale, ce qui n'est pas critiquable puisque sa cognition était limitée au scrutin tel qu'il s'est déroulé dans le canton de Genève. Dans le cadre d'une votation fédérale, on pourrait certes envisager qu'un citoyen puisse, à certaines conditions, se plaindre par la voie du recours prévu à l'art. 82 let. c LTF d'irrégularités entachant le scrutin dans d'autres cantons (cf. arrêt 1C_253/2009 du 1er octobre 2009). En l'occurrence toutefois, les griefs soulevés à cet égard n'apparaissent pas suffisamment motivés et devraient, de toute façon, suivre le sort des autres griefs soulevés dans le recours (cf. consid. 3 ci-dessous). Quant aux autres conclusions présentées par le recourant - enquête sur les conditions de vote, injonctions sur le matériel à utiliser, interdiction du vote électronique -, elles sont irrecevables car elles apparaissent largement étrangères à l'objet de la contestation.
1.4 Selon l'art. 95 let. a LTF, le recours peut être formé pour violation du droit fédéral - y compris les droits constitutionnels - ainsi que pour violation de dispositions cantonales sur le droit de vote des citoyens et sur les élections et votations populaires (art. 95 let. c et d LTF). Saisi d'un recours pour violation des droits politiques, le Tribunal fédéral revoit librement l'interprétation et l'application du droit fédéral (soit en particulier les principes découlant directement de l'art. 34 Cst. et les dispositions de la LDP) et du droit constitutionnel cantonal, ainsi que des dispositions de rang inférieur qui sont étroitement liées au droit de vote ou en précisent le contenu et l'étendue (ATF 129 I 185 consid. 2 p. 190).
Aux termes de l'art. 106 al. 2 LTF, le Tribunal fédéral n'examine la violation de droits fondamentaux que si ce grief a été invoqué et motivé par le recourant. L'acte de recours doit donc, à peine d'irrecevabilité, contenir un exposé succinct des droits constitutionnels ou des principes juridiques violés et préciser en quoi consiste la violation. Lorsqu'il est saisi d'un recours, le Tribunal fédéral n'a donc pas à vérifier de lui-même si l'arrêt entrepris est en tous points conforme au droit et à l'équité. Il n'examine que les griefs d'ordre constitutionnel invoqués et suffisamment motivés dans l'acte de recours. Le recourant ne saurait se contenter d'invoquer le principe "jura novit curia", ni de soulever de vagues griefs ou de renvoyer aux actes cantonaux (ATF 134 I 20 consid. 5.2 p. 30 s.; 133 II 249 consid. 1.4 p. 254; 133 III 393 consid. 6 p. 397 et la jurisprudence citée).
1.5 Le Tribunal fédéral conduit par ailleurs son raisonnement juridique sur la base des faits établis par l'autorité précédente (cf. art. 105 al. 1 LTF). Il peut néanmoins rectifier ou compléter les faits constatés de façon manifestement inexacte (soit arbitraire; ATF 133 III 393 consid. 7.1 p. 398) ou en violation du droit au sens de l'art. 95 LTF (cf. art. 105 al. 2 LTF). Le recourant peut soulever de tels vices relatifs à la constatation des faits si leur correction est susceptible d'influer sur le sort de la cause (cf. art. 97 al. 2 LTF); toutefois, il est également tenu de se conformer aux exigences de motivation prévues à l'art. 106 al. 2 LTF, soit d'exposer d'une manière circonstanciée ses griefs (cf. ATF 133 II 249 consid. 1.4.3 p. 254 ss).
1.6 Selon l'art. 79 al. 2bis LDP, le gouvernement cantonal rejette le recours sans approfondir l'examen de l'affaire s'il constate que les irrégularités constatées ne sont ni d'une nature ni d'une importance telles qu'elles ont pu influencer de façon déterminante le résultat principal de la votation ou de l'élection. En l'espèce, si le résultat de la votation sur l'arrêté fédéral du 3 octobre 2008 "Pour la prise en compte des médecines complémentaires" est suffisamment clair tant au niveau du peuple que des cantons, il n'en va pas de même s'agissant de l'arrêté fédéral du 13 juin 2008, accepté au niveau fédéral à une différence de 5'504 voix, soit de 0,289% des votants. On peut donc se demander si, dans un tel cas, le Conseil d'Etat pouvait comme il l'a fait liquider l'affaire en se fondant sur cette disposition. La question peut demeurer indécise car l'autorité intimée n'en a pas moins examiné les griefs soulevés de manière certes sommaire, mais suffisante au regard de l'obligation de motiver.
2. Dans un grief d'ordre formel, le recourant invoque son droit d'être entendu. Il reproche au Conseil d'Etat de ne pas l'avoir entendu en audience publique. Il demande qu'une telle audience soit tenue devant le Tribunal fédéral.
2.1 Si le droit d'être entendu (art. 29 al. 2 Cst.) comprend celui de s'exprimer avant le prononcé de la décision, il n'implique pas en revanche le droit de s'exprimer oralement devant l'autorité (ATF 122 II 464 consid. 4c p. 469). Dans une procédure de recours, le droit d'être entendu s'épuise en principe par le dépôt du mémoire de recours. Par ailleurs, ce droit doit être exercé dans les conditions de forme prévues par le droit cantonal. Or, le recourant ne prétend pas avoir requis une audition personnelle. Il n'indique pas non plus quelle disposition lui accordait un tel droit, et ne démontre pas, par conséquent, que le Conseil d'Etat aurait violé son droit d'être entendu.
2.2 Le recourant n'indique pas non plus en quoi une audition en audience publique s'imposerait devant la cour de céans, dans la mesure où il a eu le loisir d'exposer l'ensemble de ses arguments dans son mémoire de recours. Il ne saurait en particulier se prévaloir de l'art. 6 CEDH, puisque le contentieux électoral ne tombe pas dans le champ de protection de l'art. 6 par. 1 CEDH (ATF 133 I 100 consid. 4.6 p. 104).
3. Sur le fond, le recourant prétend pour l'essentiel que le vote électronique serait trop facilement falsifiable, et que le secret du vote serait également compromis.
3.1 Le vote électronique a été autorisé à titre expérimental, dans plusieurs communes genevoises, conformément à l'art. 8a LDP, par arrêté du Conseil fédéral du 25 février 2009 (FF 2009 1159) puis par arrêté du Conseil d'Etat du 16 mars 2009.
Selon l'art. 27c al. 2 ODP, ces essais sont limités à 10% des électeurs au niveau fédéral, et 20% des électeurs cantonaux. L'art. 27d ODP fixe les conditions de l'octroi de l'autorisation. Le canton doit notamment assurer que seuls les électeurs pourront prendre part au scrutin (contrôle de la qualité d'électeur), que tout électeur ne dispose que d'un suffrage (un citoyen, un vote), qu'il sera impossible à des tiers de capter, modifier, détourner systématiquement des suffrages électroniques et d'influencer de façon déterminante le résultat principal de la votation (assurance de l'expression sûre de la volonté des citoyens, y compris lors du dépouillement), que le secret du vote est assuré et que toute fraude systématique sera impossible. Le canton doit disposer de l'infrastructure technique, du personnel et des moyens financiers qui permettent de mener les essais en question. L'art. 27e ODP précise les mesures de protection contre les manipulations. Les art. 27f ss ODP imposent des mesures de codage permettant de contrôler la qualité d'électeur en garantissant le secret du vote. Selon l'art. 27l ODP, l'autorité compétente doit systématiquement s'adapter à l'état actuel de la technique. Les mesures de sécurité font l'objet d'un contrôle par un service externe indépendant, reconnu par la Chancellerie fédérale. La réglementation prévoit encore, notamment la possibilité de recomptages en cas d'irrégularité, et la possibilité d'établir la plausibilité du résultat électronique en cas de contestation (art. 27n et 27nbis ODP).
3.2 Le site de l'Etat de Genève expose les détails du vote par Internet et les mesures de sécurité. Pour sa part, le recourant se contente de généralités sur les risques inhérent au vote par Internet, en évoquant l'abandon de ce mode de scrutin dans d'autres pays, sans pour autant critiquer d'aucune manière le système adopté dans le canton de Genève, ni prétendre que celui-ci ne répondrait pas aux exigences de sécurité posées aux art. 27a ss LDP. Il ressort des résultats publiés par le canton que les votes exprimés dans les onze communes ayant pratiqué le vote par Internet sont comparables à ceux constatés au niveau cantonal, pour les deux votations fédérales en cause. Les allégations du recourant apparaissent ainsi dénuées de fondement et ont été écartées à juste titre par le gouvernement cantonal.
4. Dans un grief nouveau - dont la recevabilité apparaît douteuse à ce titre déjà -, le recourant soutient que le matériel de vote rendrait possibles des fraudes électorales: les enveloppes de vote seraient suffisamment transparentes pour permettre la lecture de leur contenu avec un simple dispositif d'éclairage. Le matériel imprimé en supplément permettrait de procéder à des substitutions de bulletins. Le recourant mentionne aussi l'existence de sceaux falsifiés.
4.1 Le recourant ne conteste pas que le secret du vote est assuré lorsque la récolte des bulletins et leur dépouillement sont exécutés dans des conditions normales. Par ailleurs, l'utilisation du matériel supplémentaire, soit en particulier les enveloppes et les bulletins de vote, ne peut avoir lieu à l'insu des bureaux électoraux, lesquels sont composés d'un président et de jurés, tous assermentés. On ne saurait prétendre, en l'absence de tout indice dans ce sens, qu'il aurait été possible d'utiliser le matériel supplémentaire à l'insu, ou avec la complicité des bureaux concernés. Sur ce point également, le recourant se fonde sur de pures conjectures, auxquelles il n'y a pas lieu de donner suite.
5. Le recours doit par conséquent être rejeté, dans la mesure où il est recevable. Le recourant a demandé à être dispensé des frais de justice. Il n'a toutefois présenté aucune demande d'assistance judiciaire. Au demeurant, les conditions n'en seraient pas réunies: le recourant ne démontre pas son indigence et le recours paraissait d'emblée dénué de chances de succès. Dès lors, conformément à l'art. 66 al. 1 LTF, les frais sont à la charge du recourant qui succombe.
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. Les frais judiciaires, arrêtés à 1000 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué au recourant, au Conseil d'Etat du canton de Genève et à la Chancellerie fédérale.
Lausanne, le 1er octobre 2009
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président: Le Greffier:
Féraud Kurz