Faits:
A. A._, ressortissante brésilienne née en 1978, a séjourné en Suisse de décembre 1995 à janvier 1998, puis dès le mois de juin 2000 au bénéfice d'une autorisation de séjour pour étude qui a été renouvelée jusqu'au 10 octobre 2008. Le 1er septembre 2008, elle a demandé sa naturalisation auprès du service cantonal des naturalisations du canton de Genève (SCN).
Le 28 août 2009, l'Office fédéral des migrations (ODM) a, malgré le préavis cantonal positif, refusé d'accorder à l'intéressée une autorisation de séjour fondée sur l'art. 31 al. 1 OASA, considérant que les conditions d'un cas d'extrême gravité n'étaient pas réunies. Un délai de départ a été imparti, au 31 octobre 2009. A._ a recouru contre cette décision auprès du Tribunal administratif fédéral (TAF).
Le 22 octobre 2009, le SCN fit savoir à A._ qu'en l'absence d'un permis de séjour valable, la procédure de naturalisation était suspendue. Cette décision a été confirmée le 19 janvier 2010: le règlement genevois d'application de la loi genevoise sur la nationalité (RNat, RS/GE A 4 05.01) exigeait un permis de séjour valable tout au long de la procédure de naturalisation. Les 7, 26 et 27 janvier, puis le 23 juin et le 20 juillet 2010, A._ a requis la reprise de la procédure en se prévalant d'un arrêt récent selon lequel l'octroi de l'autorisation fédérale de naturalisation ne dépendait pas de l'existence d'une autorisation de séjour durant toute la durée de la procédure. Par décision du 16 août 2010, le SCN confirma la suspension de la procédure jusqu'à droit connu sur le recours au TAF.
B. Par arrêt du 26 juillet 2011, la Chambre administrative de la Cour de justice du canton de Genève a déclaré irrecevable le recours formé contre cette dernière décision. Il s'agissait d'une décision incidente qui ne causait pas à l'intéressée de préjudice irréparable.
C. Par acte du 14 septembre 2011, A._ forme un recours constitutionnel subsidiaire. Elle demande l'annulation de l'arrêt cantonal et le renvoi de la cause à la Chambre administrative afin qu'elle statue sur le fond, subsidiairement le renvoi de la cause au SCN afin qu'il reprenne l'instruction de la demande de naturalisation.
La Chambre administrative persiste dans les considérants et le dispositif de son arrêt. Le Département cantonal de la sécurité, de la police et de l'environnement conclut à l'irrecevabilité du recours et à son rejet sur le fond. La recourante a répliqué, persistant dans ses conclusions.
Considérant en droit:
1. Le Tribunal fédéral examine d'office sa compétence (art. 29 al. 1 LTF) et contrôle librement la recevabilité des recours qui lui sont soumis (ATF 136 I 43 consid. 1 p. 43; 136 II 101 consid. 1 p. 103).
1.1 L'arrêt cantonal a été rendu dans le cadre d'une procédure de naturalisation ordinaire. Le recours en matière de droit public est dès lors exclu en vertu de l'art. 83 let. b LTF.
1.2 Selon l'art. 113 LTF, le recours constitutionnel subsidiaire est ouvert contre les décisions des autorités cantonales de dernière instance qui ne peuvent faire l'objet d'aucun recours ordinaire. La décision attaquée ne peut pas non plus être déférée au Tribunal administratif fédéral car la décision attaquée n'a pas été rendue en application du droit public fédéral (art. 5 PA et 31 LTAF).
1.3 Indépendamment de sa qualité pour recourir sur le fond, le destinataire d'un arrêt cantonal d'irrecevabilité a qualité pour contester ce prononcé en invoquant ses droits de partie à la procédure (art. 115 LTF; ATF 133 I 1 consid. 6.2 p. 198 s.). Tel est le cas en l'espèce, la recourante reprochant à la cour cantonale de ne pas avoir statué sur son recours et d'avoir ainsi commis un déni de justice formel.
1.4 Contrairement à ce que soutient la recourante, la décision attaquée est de nature incidente puisque, même si elle confirme - sans entrer en matière sur le recours - la décision de l'instance inférieure, elle reste limitée à la question de la suspension de la procédure de naturalisation et ne met pas un terme à celle-ci (ATF 134 IV 43 E. 2; 123 III 414 consid. 1 p. 417; arrêt 4A_542/2009 du 27 avril 2010). Le recours n'en est pas moins recevable au sens de l'art. 93 al. 1 let. a LTF, dans la mesure où la recourante fait valoir que la confirmation de la suspension aurait pour effet non seulement un allongement inadmissible de la procédure de naturalisation, mais aussi une violation de l'obligation de statuer dans un délai raisonnable (BGE 134 IV 43 E. 2). Il pourrait en résulter un préjudice irréparable, de sorte qu'il y a lieu d'entrer en matière.
2. La recourante invoque les art. 9 et 29 Cst., en reprochant à la cour cantonale d'avoir ignoré que la poursuite de la suspension de la procédure de naturalisation consacrait un déni de justice, la demande ayant été déposée le 1er septembre 2008, soit depuis près de trois ans. Le refus de statuer sur les griefs soulevés constituerait également une violation du droit d'être entendu, ainsi qu'une application arbitraire des dispositions pertinentes du droit cantonal de procédure.
2.1 Le recours constitutionnel subsidiaire peut être formé pour violation des droits constitutionnels (art. 116 LTF). Le Tribunal fédéral n'examine toutefois la violation des droits fondamentaux que si ce grief a été invoqué et motivé par la partie recourante (art. 106 al. 2 LTF par renvoi de l'art. 117 LTF; cf. ATF 133 II 249 consid. 1.4.2 p. 254).
2.2 Le prononcé d'irrecevabilité est en l'occurrence fondé sur l'art. 57 let. c de la loi genevoise sur la procédure administrative (LPA, RS/GE E 5 10), disposition selon laquelle les décisions incidentes peuvent faire l'objet d'un recours si elles peuvent causer un préjudice irréparable ou si l'admission du recours peut conduire immédiatement à une décision finale qui permet d'éviter une procédure probatoire longue et coûteuse. La cour cantonale a considéré que le SCN avait suspendu la procédure de naturalisation en raison de l'exigence d'un titre de séjour valable tout au long de la procédure, et que cette décision ne portait nullement atteinte aux droits de la recourante sur le fond. L'existence d'un préjudice irréparable n'était dès lors nullement démontrée.
Une telle motivation méconnaît que la recourante se plaignait non seulement de l'allongement indu de la durée de la procédure de naturalisation, mais aussi d'un déni de justice formel de la part du SCN, sous la forme d'un report sine die de sa décision. Cette éventualité ne saurait être écartée compte tenu de la durée de la procédure de naturalisation et du fait que le TAF n'a apparemment pas l'intention de statuer tant que le SCN n'aura pas lui-même rendu sa décision. Or, si l'art. 57 let. c LPA est de teneur identique à l'art. 93 al. 1 let. a LTF, il n'y a pas de raison de l'appliquer de manière différente. En limitant le préjudice irréparable à une lésion des droits de fond, la cour cantonale empêche le justiciable de se plaindre de tout déni de justice formel. Une telle interprétation du droit cantonal est insoutenable et, partant, arbitraire.
3. Le recours doit par conséquent être admis et la cause renvoyée à la cour cantonale, sans qu'il y ait lieu d'examiner en l'état le bien-fondé du maintien de la suspension de la procédure de naturalisation. La recourante a droit à des dépens, à la charge du canton de Genève (art. 68 al. 2 LTF). Conformément à l'art. 66 al. 4 LTF, il n'est pas perçu de frais judiciaires.
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est admis, l'arrêt attaqué est annulé et la cause est renvoyée à la Chambre administrative de la Cour de justice du canton de Genève pour nouvelle décision dans le sens des considérants.
2. Une indemnité de 2'000 fr. est allouée à la recourante à titre de dépens, à la charge du canton de Genève.
3. Il n'est pas perçu de frais judiciaires.
4. Le présent arrêt est communiqué au mandataire de la recourante, au Département de la sécurité, de la police et de l'environnement et à la Cour de justice de la République et canton de Genève, Chambre administrative.
Lausanne, le 14 novembre 2011
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président: Fonjallaz
Le Greffier: Kurz