Faits:
A. Par jugement du 23 janvier 2012, le Tribunal correctionnel de l'arrondissement de la Broye et du Nord vaudois a condamné A._ à 120 jours de détention pour divers délits contre le patrimoine et contravention à la LStup, et l'a libéré des autres chefs de prévention (lésions corporelles, tentative de remise de substances nocives à des enfants, vol au préjudice d'un proche, dommages à la propriété, injure, menaces, tentative de viol et de contrainte sexuelle, infraction à l'art. 19bis LStup). Ce jugement comporte en outre les dispositions suivantes:
X. arrête les frais de justice à la charge de A._ à 17'261 fr. 30;
XIII. alloue à A._, à la charge de l'Etat, une indemnité pour tort moral de 72'000 fr. (septante-deux mille francs) avec intérêt à 5% l'an dès le 16 janvier 2012.
B. Le 24 février 2012, A._ a déposé une déclaration d'appel motivée: déduction faite de sa condamnation, il avait été détenu 290 jours de trop, et non 288 comme le retenait le jugement; l'indemnité pour détention injustifié devait s'élever à 275 fr. par jour - contre 250 selon l'arrêt attaqué - de sorte que l'indemnisation devait s'élever au total à 79'750 fr. Il demandait par ailleurs que les frais afférents à la détention ainsi qu'à l'expertise soient laissés à la charge de l'Etat.
Le Ministère public a lui aussi formé appel, considérant que le condamné n'avait (compte tenu d'autres condamnations intervenues en 2012) effectué qu'un jour de détention en trop et que l'indemnité journalière allouée de ce chef devait se limiter à 250 fr.
C. Le 31 mai 2012, après avoir pris connaissance de la composition de la Cour d'appel pénale du Tribunal cantonal vaudois, A._ a requis la récusation de sa présidente, B._. Il relevait que cette dernière avait été élue juge sur la liste de l'Union démocratique du centre (UDC); or, ce parti préconisait un durcissement massif du droit pénal à l'égard des étrangers et s'opposait notamment à l'indemnisation des étrangers obtenant gain de cause en justice.
La magistrate en cause ayant refusé sa récusation, la demande a été transmise à la Cour d'appel pénale - dans une autre composition - qui, par arrêt daté du 5 juillet 2012, l'a rejetée. La simple affiliation d'un juge à un parti politique ne constituait pas un motif de récusation. Les critiques formulées par l'UDC à l'encontre des juges, afin de justifier des modifications légales ou constitutionnelles, attestaient au contraire de l'indépendance des juges en général. Les mesures d'instruction requises par A._ ont été jugées sans pertinence.
D. Par acte du 13 août 2012, A._ forme un recours en matière pénale par lequel il demande la réforme de l'arrêt cantonal, en ce sens que sa demande de récusation est admise et qu'un nouveau président de la Cour d'appel pénale est désigné. Il requiert l'assistance judiciaire, ainsi que la suspension de la procédure d'appel au titre de l'effet suspensif. Préalablement, il demande l'administration de certaines preuves, soit des déterminations de la magistrate concernée au sujet de ses relations avec l'UDC.
La Cour d'appel pénale se réfère à son arrêt. Le Ministère public conclut au rejet du recours et de la demande d'assistance judiciaire. La Présidente se réfère à ses précédentes déterminations, en affirmant que son appartenance politique ne joue aucun rôle dans ses décisions.
La demande de suspension de la procédure d'appel a été admise par ordonnance du 20 août 2012.
Dans ses dernières observations, du 19 septembre 2012, le recourant a persisté dans ses griefs et conclusions.
Considérant en droit:
1. Conformément aux art. 78 et 92 al. 1 LTF, une décision incidente relative à la récusation d'un magistrat dans la procédure pénale peut faire immédiatement l'objet d'un recours en matière pénale. Le recourant, auteur de la demande de récusation, a qualité pour agir (art. 81 al. 1 LTF). La décision attaquée est rendue en dernière instance cantonale, au sens de l'art. 80 LTF. Le recours a été déposé dans le délai de trente jours prescrit à l'art. 100 al. 1 LTF et les conclusions présentées (y compris l'admission de la demande de récusation) sont recevables au regard de l'art. 107 LTF.
2. Dans un premier grief, d'ordre formel, le recourant invoque son droit d'être entendu et la garantie du procès équitable (art. 3 al. 2 let. c et 59 al. 1 CPP). Devant la cour cantonale, il avait requis une série de mesures d'instruction destinées à déterminer les liens entre la Présidente et son parti politique. La cour cantonale n'aurait pas pris position sur cette offre de preuves. Le recourant propose au Tribunal fédéral d'ordonner lui-même la production des preuves requises.
2.1 Le droit d'être entendu, garanti par l'art. 29 al. 2 Cst. et, en matière de procédure pénale, à l'art. 3 al. 2 let. c CPP, comporte notamment le droit d'obtenir l'administration de preuves de nature à influer sur le sort de la décision à rendre. Il a pour corollaire que l'autorité doit en principe donner suite aux offres de preuve présentées en temps utile et dans les formes prescrites. Il n'y a toutefois pas violation du droit à l'administration de preuves lorsque la mesure probatoire refusée est impropre à établir le fait à prouver, lorsque ce fait est sans pertinence ou lorsque, sur la base d'une appréciation non arbitraire des preuves dont elle dispose déjà, l'autorité parvient à la conclusion que les faits pertinents sont établis et que le résultat, même favorable au requérant, de la mesure probatoire sollicitée ne pourrait pas modifier sa conviction (ATF 134 I 140 consid. 5.3 p. 148).
2.2 En l'occurrence, la cour cantonale n'a pas méconnu la demande du recourant formée le 2 juillet 2012 et tendant à ce que la magistrate se détermine sur les déclarations d'adhésion à son parti, les accords - notamment financiers - passés avec celui-ci et les réunions auxquelles elle aurait participé. Il a en effet été répondu, par lettre datée du 6 juillet 2012 que la Cour d'appel refusait d'ordonner ces mesures, qui n'apparaissaient pas utiles. Dans sa réponse au recours, la cour cantonale explique avoir tenu compte de cette offre de preuves dans une seconde circulation; la date de l'arrêt, du 5 juillet 2012, serait erronée, celui-ci ayant été rendu le 12 juillet suivant. En réplique, le recourant conteste la date de prononcé de l'arrêt attaqué en relevant qu'elle est bien du 5 juillet 2012 dans sa version publiée sur internet. Il n'en demeure pas moins que l'arrêt attaqué mentionne effectivement le rejet de l'offre de preuves par décision présidentielle du 6 juillet 2012, et confirme (consid. 2.4) que les preuves requises sont sans pertinence. Le recourant ne saurait dès lors prétendre que l'arrêt attaqué ne se prononce pas sur la question.
2.3 Confronté à un rejet d'offre de preuves fondé sur une appréciation anticipée de celles-ci, le recourant devrait entreprendre de démontrer, s'agissant d'un grief d'ordre constitutionnel, que l'arrêt attaqué serait arbitraire ou violerait son droit à la preuve. Or, le grief du recourant ne contient aucune démonstration de ce type. Au demeurant, les preuves requises par le recourant ne seraient pertinentes que s'il existait par ailleurs un doute objectivement fondé quant à l'impartialité de la Présidente. Or, comme cela est relevé ci-dessous, tel n'est pas le cas.
3. Sur le fond, le recourant invoque le droit à un tribunal indépendant et impartial (art. 4 et 56 let. f CPP). Il relève que la magistrate a été élue, au mois de mars 2010, uniquement par le Grand Conseil vaudois sur proposition de son parti, en dehors du processus - en principe apolitique - de la commission d'experts. Sa réélection, pour la fin de l'année 2012, dépendrait du respect de la ligne du parti, consistant notamment dans une politique répressive et dans la contestation des garanties élémentaires reconnues aux justiciables étrangers. L'indépendance ne serait donc pas garantie, s'agissant d'une contestation relative à l'indemnisation pour détention injustifiée d'un étranger ayant un passé de délinquant, musulman et sans papier.
3.1 La garantie d'un tribunal indépendant et impartial résultant des art. 30 al. 1 Cst. et 6 par. 1 CEDH - qui ont, de ce point de vue, la même portée - permet de demander la récusation d'un juge dont la situation ou le comportement est de nature à susciter des doutes quant à son impartialité. L'art. 56 let. f CPP, également invoqué par le recourant, concrétise ces garanties et a la portée d'une clause générale (arrêt 2C_755/2008 du 7 janvier 2009, SJ 2009 233 concernant l'art. 34 LTF).
Pour établir si un tribunal peut passer pour "indépendant", il faut prendre en compte, notamment, le mode de désignation et la durée du mandat de ses membres, l'existence d'une protection contre les pressions extérieures et le point de savoir s'il y a ou non apparence d'indépendance. Quant à la condition d'"impartialité", elle revêt deux aspects. Il faut d'abord que le tribunal ne manifeste subjectivement aucun parti pris ni préjugé personnel. Ensuite, le tribunal doit être objectivement impartial, c'est-à-dire offrir des garanties suffisantes pour exclure à cet égard tout doute légitime. Dans le cadre de la démarche objective, il s'agit de se demander si, indépendamment de la conduite personnelle des juges, certains faits vérifiables autorisent à suspecter l'impartialité de ces derniers. En la matière, même les apparences peuvent revêtir de l'importance. Il y va de la confiance que les tribunaux d'une société démocratique se doivent d'inspirer aux justiciables, à commencer par les parties à la procédure (CourEDH, arrêt Pabla KY c/ Finlande du 22 juin 2004, recueil CourEDH 2004-V p. 187 § 26 ss; ATF 137 I 227 consid. 2.1 p. 229; 136 III 605 consid. 3.2.1 p. 608 s.; 136 I 207 consid. 3.1 p. 210; 134 I 20 consid. 4.2 p. 21, 238 consid. 2.1 p. 240).
3.2 Le système d'élection (directe ou indirecte) des juges, pour un mandat limité et soumis à réélection, est traditionnellement pratiqué en Suisse aux niveaux cantonal et fédéral. Dans le canton de Vaud, il fait l'objet d'une disposition constitutionnelle, l'art. 131 Cst./VD, dont la teneur est la suivante:
Art. 131
1Les juges et les juges suppléants du Tribunal cantonal sont élus par le Grand Conseil pour une durée de cinq ans à compter du 1er janvier de l'année qui suit le renouvellement du Grand Conseil, sur préavis d'une commission de présentation.
2Cette commission est désignée par le Grand Conseil. Elle est composée de députés et d'experts indépendants.
3Le choix des candidats au Tribunal cantonal se fonde essentiellement sur leur formation juridique et leur expérience. Le Grand Conseil veille en outre à une représentation équitable des différentes sensibilités politiques.
L'art. 135 Cst./VD prévoit également que, sauf l'indépendance des jugements, le Tribunal cantonal est placé sous la haute surveillance du Grand Conseil.
Ce système repose sur le postulat qu'une fois élus, les magistrats sont présumés capables de prendre le recul nécessaire par rapport à leur parti politique et de se prononcer objectivement sur le litige qui divise les parties (ATF 105 Ia 157 consid 6a p. 162; cf. en dernier lieu ATF 138 I I concernant un magistrat ayant travaillé pour une association de protection des locataires; 1P.667/2006 du 29 novembre 2006, consid. 3.1; 1P.138/2002 du 17 juin 2002 concernant un juge également membre d'une confrérie impliquée dans la cause; 1P.163/1992 du 30 août 1994, publié in RDAF 1994 p. 406). Seules des circonstances exceptionnelles peuvent donner à penser que le juge pourrait subir une influence de la formation politique à laquelle il appartient, au point de ne plus apparaître comme impartial dans le traitement d'une cause particulière.
3.3 De telles circonstances sont inexistantes en l'espèce. Aucun des documents produits par le recourant ne permet de penser que les magistrats du pouvoir judiciaire appartenant à l'UDC se seraient engagés à "respecter les promesses électorales du parti" au point de faire prévaloir ces principes sur l'application du droit. Il n'est pas non plus prétendu que le parti cantonal aurait laissé entendre qu'il menaçait de ne pas réélire les juges qui, par hypothèse, ne soutiendraient pas ses thèses.
Le recourant relève que la candidature de la Présidente à la magistrature n'aurait pas été retenue par le collège d'experts ayant assisté la Commission parlementaire de présentation. Il n'en demeure pas moins que cette dernière, seule compétente et composée de députés de tous partis politiques, a préavisé positivement sa candidature après avoir entendu les candidats sur des thèmes portant, notamment, sur leur vision de l'indépendance.
Les craintes du recourant reposent ainsi sur de simples conjectures qu'une interpellation formelle de la magistrate en cause ne pourraient venir renforcer. C'est dès lors à juste titre que la demande de récusation a été rejetée.
4. Le recours doit dès lors être rejeté, dans la mesure où il est recevable. Le recourant a demandé l'assistance judiciaire, et les conditions en sont réunies. Me Bertrand Demierre est désigné comme avocat d'office, rétribué par la caisse du Tribunal fédéral. Il n'est pas perçu de frais judiciaires (art. 64 al. 1 LTF), ni alloué de dépens (art. 68 al. 2 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté, dans la mesure où il est recevable.
2. La demande d'assistance judiciaire est admise; Me Bertrand Demierre est désigné comme défenseur d'office du recourant et une indemnité de 2000 fr. lui est allouée à titre d'honoraires, à verser par la caisse du Tribunal fédéral; il n'est pas perçu de frais judiciaires.
3. Le présent arrêt est communiqué aux parties, au Ministère public central et à la Cour d'appel pénale du Tribunal cantonal du canton de Vaud.
Lausanne, le 25 septembre 2012
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Juge présidant: Aemisegger
Le Greffier: Kurz