Faits:
A. Le 17 mai 2009 a eu lieu la votation fédérale relative d'une part à l'arrêté fédéral du 3 octobre 2008 "Pour la prise en compte des médecines complémentaires" (article constitutionnel), et d'autre part à l'arrêté fédéral du 13 juin 2008 concernant la reprise du Règlement relatif aux passeports biométriques et aux documents de voyage. Les résultats de cette votation sont, pour le canton de Vaud, les suivants:
arrêté du 3 octobre 2008:
bulletins valables: 164'778
oui: 129'312
non: 35'466
arrêté du 13 juin 2008:
bulletins valables: 163'006
oui: 74'098
non: 88'908
Au niveau fédéral, le premier objet a été accepté par 1'283'838 oui contre 631'908 non, ainsi que par l'unanimité des cantons; le second a été accepté par 953'136 oui contre 947'632 non.
B. Le 20 mai 2009, le Mouvement Citoyen Suisse et François von Siebenthal ont saisi le Conseil d'Etat vaudois. Ils évoquaient le cas de trois communes vaudoises n'ayant pas reçu le matériel de vote. D'autres communes auraient connu des irrégularités, rendues possibles par la procédure de vote par correspondance. Ils se plaignaient de l'absence de publication des données du scrutin par bureau de vote. Selon eux, les 40'000 bulletins de vote et enveloppes supplémentaires pouvaient permettre des fraudes, de même que la transparence de l'enveloppe de vote. Les recourants demandaient de nouvelles votations, au moins dans les communes concernées, ainsi que des contrôles par sondages dans tout le canton. Ils concluaient également à la publication d'une décision rendue précédemment, sur recours, par le Conseil d'Etat.
C. Par décision du 29 mai 2009, le Conseil d'Etat a rejeté le recours, laissant indécise la question de la qualité pour recourir du Mouvement Citoyen Suisse. En raison d'une erreur d'envoi, les 54 électeurs de la commune de Pizy ainsi que plusieurs habitants de Gimel et d'Avenches n'avaient pas reçu le matériel de vote. Un nouvel envoi avait été effectué pour la commune de Pizy et les habitants des autres communes concernées avaient pu demander du matériel de remplacement. La boîte aux lettres pour le vote anticipé dans la commune de Penthalaz avait été vandalisée, mais la population en avait été informée et les votants concernés avaient pu s'annoncer. Les informations sur le scrutin pour chaque commune étaient disponibles sur le site Internet de l'Etat de Vaud. La loi n'exigeait pas la diffusion des résultats des différents bureaux de section. Il n'y avait pas d'indice d'utilisation abusive du matériel de vote de réserve; il n'était pas possible de lire le contenu de l'enveloppe de vote, ce d'autant que le bulletin était sur papier gris. Les soupçons de fraude ne reposaient sur aucun élément concret.
D. François von Siebenthal forme un recours "de droit public" contre cette dernière décision. Il demande l'organisation d'un nouveau vote dans tous les cantons où le matériel de vote ne satisfait pas aux exigences légales, ainsi qu'une enquête dans d'autres cantons. Il demande que le Tribunal fédéral ordonne diverses mesures afin de prévenir les fraudes, notamment l'abandon du vote électronique.
Le Conseil d'Etat se réfère à sa décision. La Chancellerie fédérale ne s'est pas déterminée.
Considérant en droit:
1. Selon les art. 82 let. c et 88 al. 1 let. b LTF, le recours en matière de droit public est ouvert contre les décisions prises par les gouvernements cantonaux en matière d'élections et de votations fédérales, conformément à l'art. 80 de la loi fédérale sur les droits politiques (LDP; RS 161.1). Ces décisions peuvent notamment porter sur la violation de dispositions concernant le droit de vote (art. 77 al. 1 let. a LDP) ou des irrégularités affectant les votations (art. 77 al. 1 let. b LDP).
1.1 Dans la mesure où il dispose du droit de vote dans l'affaire en cause, le recourant a qualité pour agir (art. 89 al. 3 LTF). Le recours a été déposé dans le délai de cinq jours prévu à l'art. 100 al. 3 let. b LTF. La question de la qualité pour agir du Mouvement Citoyen Suisse, non résolue par le Conseil d'Etat, peut également demeurer indécise à ce stade puisqu'elle ne change rien à l'issue du recours.
1.2 Le recours en matière de droits politiques peut tendre non seulement à l'annulation de la décision de première instance mais aussi à l'annulation du scrutin (ATF 129 I 185 consid. 1.2 p. 188) ainsi qu'à un recomptage des voix (ATF 131 I 442). Le recourant demande aussi un nouveau scrutin dans tous les cantons où le matériel de vote ne satisfait pas aux exigences légales. Il s'agit là d'une conclusion nouvelle qui n'a pas été soumise à l'instance précédente (art. 99 al. 2 LTF). Elle ne pouvait toutefois pas l'être puisque la cognition du Conseil d'Etat était limitée au scrutin tel qu'il s'est déroulé dans le canton de Vaud. Dans le cadre d'une votation fédérale, on pourrait certes envisager qu'un citoyen puisse, à certaines conditions, se plaindre par la voie du recours prévu à l'art. 82 let. c LTF d'irrégularités entachant le scrutin dans d'autres cantons (cf. arrêt 1C_253/2009 du 1er octobre 2009). En l'occurrence toutefois, les griefs soulevés à cet égard n'apparaissent pas suffisamment motivés et devraient, de toute façon, suivre le sort des autres griefs soulevés dans le recours (cf. consid. 3 ci-dessous). Quant aux nombreuses autres conclusions présentées par le recourant - enquête sur les conditions de vote, injonctions sur le matériel à utiliser, interdiction du vote électronique -, elles sont irrecevables dans la mesure où elles apparaissent largement étrangères à l'objet de la contestation.
1.3 Selon l'art. 95 let. a LTF, le recours peut être formé pour violation du droit fédéral - y compris les droits constitutionnels - ainsi que pour violation de dispositions cantonales sur le droit de vote des citoyens et sur les élections et votations populaires (art. 95 let. c et d LTF). Saisi d'un recours pour violation des droits politiques, le Tribunal fédéral revoit librement l'interprétation et l'application du droit fédéral (soit en particulier les principes découlant directement de l'art. 34 Cst. et les dispositions de la LDP) et du droit constitutionnel cantonal, ainsi que des dispositions de rang inférieur qui sont étroitement liées au droit de vote ou en précisent le contenu et l'étendue (ATF 129 I 185 consid. 2 p. 190).
Aux termes de l'art. 106 al. 2 LTF, le Tribunal fédéral n'examine la violation de droits fondamentaux que si ce grief a été invoqué et motivé par le recourant. L'acte de recours doit donc, à peine d'irrecevabilité, contenir un exposé succinct des droits constitutionnels ou des principes juridiques violés et préciser en quoi consiste la violation. Lorsqu'il est saisi d'un recours, le Tribunal fédéral n'a donc pas à vérifier de lui-même si l'arrêt entrepris est en tous points conforme au droit et à l'équité. Il n'examine que les griefs d'ordre constitutionnel invoqués et suffisamment motivés dans l'acte de recours. Le recourant ne saurait se contenter d'invoquer le principe "iura novit curia", ni de soulever de vagues griefs ou de renvoyer aux actes cantonaux (ATF 134 I 20 consid. 5.2 p. 30 s.; 133 II 249 consid. 1.4 p. 254; 133 III 393 consid. 6 p. 397 et la jurisprudence citée).
1.4 Le Tribunal fédéral conduit par ailleurs son raisonnement juridique sur la base des faits établis par l'autorité précédente (cf. art. 105 al. 1 LTF). Il peut néanmoins rectifier ou compléter les faits constatés de façon manifestement inexacte (soit arbitraire; ATF 133 III 393 consid. 7.1 p. 398) ou en violation du droit au sens de l'art. 95 LTF (cf. art. 105 al. 2 LTF). Le recourant peut soulever de tels vices relatifs à la constatation des faits si leur correction est susceptible d'influer sur le sort de la cause (cf. art. 97 al. 2 LTF); toutefois, il est également tenu de se conformer aux exigences de motivation prévues à l'art. 106 al. 2 LTF, soit d'exposer d'une manière circonstanciée ses griefs (cf. ATF 133 II 249 consid. 1.4.3 p. 254 ss).
2. Dans un grief d'ordre formel, le recourant invoque son droit d'être entendu. Il reproche au Conseil d'Etat de ne pas l'avoir entendu en audience publique. Il demande qu'une telle audience soit tenue devant le Tribunal fédéral.
2.1 Si le droit d'être entendu (art. 29 al. 2 Cst.) comprend celui de s'exprimer avant le prononcé de la décision, il n'implique pas en revanche le droit de s'exprimer oralement devant l'autorité (ATF 122 II 464 consid. 4c p. 469). Dans une procédure de recours, le droit d'être entendu s'épuise en principe par le dépôt du mémoire de recours. Par ailleurs, ce droit doit être exercé dans les conditions de forme prévues par le droit cantonal. Or, le recourant ne prétend pas avoir requis une audition personnelle. Il n'indique pas non plus quelle disposition lui accordait un tel droit, et ne démontre pas, par conséquent, que le Conseil d'Etat aurait violé son droit d'être entendu.
2.2 Le recourant n'indique pas non plus en quoi une audition en audience publique s'imposerait devant la cour de céans, dans la mesure où il a eu le loisir d'exposer l'ensemble de ses arguments dans son mémoire de recours. Il ne saurait en particulier se prévaloir de l'art. 6 CEDH, puisque le contentieux électoral ne tombe pas dans le champ de protection de cette disposition (ATF 133 I 100 consid. 4.6 p. 104).
2.3 Le recourant invoque aussi le droit à la consultation de documents officiels et à l'information, garanti par l'art. 17 al. 2 let. c de la Constitution vaudoise. Il ne précise pas s'il entend consulter des documents indépendamment de la présente procédure - auquel cas un tel droit de consultation devait faire l'objet d'une requête distincte - ou s'il entendait consulter des pièces dans le cadre de son recours. Le recourant n'indique pas non plus quelles pièces il entendait consulter, et ne prétend pas qu'un droit de consultation lui aurait été indûment refusé devant l'instance précédente. Le grief doit lui aussi être rejeté, dans la mesure où il est suffisamment motivé.
3. Sur le fond, le recourant prétend pour l'essentiel que le matériel de vote rendrait possible des fraudes électorales: les enveloppes de vote seraient suffisamment transparentes pour permettre la lecture de leur contenu avec un simple dispositif d'éclairage, ce d'autant que le bulletin est sur papier blanc et ne doit pas être plié; le matériel supplémentaire - près de 100'000 enveloppes et bulletins - permettrait de procéder à des substitutions de bulletins. Le recourant soupçonne ainsi des agents de l'Etat de procéder, de nuit, à l'ouverture des urnes, au remplacement de certaines enveloppes par d'autres, correspondant au résultat voulu, et à la fermeture des urnes au moyen de sceaux falsifiés.
3. Sur le fond, le recourant prétend pour l'essentiel que le matériel de vote rendrait possible des fraudes électorales: les enveloppes de vote seraient suffisamment transparentes pour permettre la lecture de leur contenu avec un simple dispositif d'éclairage, ce d'autant que le bulletin est sur papier blanc et ne doit pas être plié; le matériel supplémentaire - près de 100'000 enveloppes et bulletins - permettrait de procéder à des substitutions de bulletins. Le recourant soupçonne ainsi des agents de l'Etat de procéder, de nuit, à l'ouverture des urnes, au remplacement de certaines enveloppes par d'autres, correspondant au résultat voulu, et à la fermeture des urnes au moyen de sceaux falsifiés.
3.1 Selon l'art. 79 al. 2bis LDP, le gouvernement cantonal rejette le recours sans approfondir l'examen de l'affaire s'il constate que les irrégularités constatées ne sont ni d'une nature ni d'une importance telles qu'elles ont pu influencer de façon déterminante le résultat principal de la votation ou de l'élection. En l'espèce, si le résultat de la votation sur l'arrêté fédéral du 3 octobre 2008 "Pour la prise en compte des médecines complémentaires" est suffisamment clair tant au niveau du peuple que des cantons, il n'en va pas de même s'agissant de l'arrêté fédéral du 13 juin 2008, accepté au niveau fédéral à une différence de 5'504 voix, soit de 0,289% des votants. C'est donc avec raison que le Conseil d'Etat a renoncé à faire application de cette disposition et est entré en matière sur les différents griefs qui lui étaient soumis.
3.2 Le recourant ne soulève plus, comme il le faisait devant le Conseil d'Etat, de griefs dirigés précisément contre la votation en cause. L'autorité intimée a écarté les arguments relatifs aux problèmes de distribution du matériel de vote dans différentes communes vaudoise. Elle en a expliqué la raison - qui ne tenait manifestement pas à une fraude - et a considéré que les démarches et informations des autorités communales avaient permis de réparer en temps utile ces irrégularités. Le recourant ne revient plus sur ces points.
3.3 Son argumentation repose sur la possibilité d'utiliser à des fins abusives le matériel supplémentaire remis aux communes. Alors que le Conseil d'Etat a considéré que le contenu de l'enveloppe était invisible, le recourant entend démontrer que celui-ci pourrait être lu par transparence devant une forte source lumineuse. Quand bien même les faits n'auraient pas été correctement établis sur ce point, on ne saurait suivre le recourant dans ses allégations: comme l'a estimé le Conseil d'Etat, le secret du vote est assuré lorsque la récolte des bulletins et leur dépouillement sont exécutés dans des conditions normales. Par ailleurs, l'utilisation du matériel supplémentaire, soit en particulier les enveloppes et les bulletins de vote, ne pourrait avoir lieu à l'insu des bureaux électoraux, lesquels sont composés d'un président et de scrutateurs, tous assermentés. Les bureaux électoraux ne peuvent délivrer du nouveau matériel - à l'exclusion des cartes de vote, art. 40 RLEDP - que si tout risque d'abus est écarté (art. 19 al. 1 LEDP). On ne saurait prétendre, en l'absence de tout indice dans ce sens, qu'il aurait été possible d'utiliser le matériel supplémentaire à l'insu, ou avec la complicité des bureaux concernés. Le recourant se fonde en définitive sur de pures conjectures, auxquelles il n'y a pas lieu de donner suite.
4. Le recours doit par conséquent être rejeté, dans la mesure où il est recevable. Le recourant a demandé à être dispensé des frais de justice. Il n'a toutefois présenté aucune demande d'assistance judiciaire. Au demeurant, les conditions n'en seraient pas réunies: le recourant ne démontre pas son indigence et le recours paraissait d'emblée dénué de chances de succès. Dès lors, conformément à l'art. 66 al. 1 LTF, les frais sont à la charge du recourant qui succombe.
Le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. Les frais judiciaires, arrêtés à 1000 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué au recourant, au Conseil d'Etat du canton de Vaud et à la Chancellerie fédérale.
Lausanne, le 1er octobre 2009
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président: Le Greffier:
Féraud Kurz