Faits:
A. A._, né le 26 novembre 1994, a été placé en détention provisoire depuis le 18 décembre 2011 sous la prévention de vols d'usage de véhicules à moteur, circulation sans permis de conduire, conduite sans plaques de contrôle ou avec des plaques volées, vols, dommages à la propriété, violations de domicile, détention illégale d'armes à feu et consommation de stupéfiants. Le 23 juillet 2012, le Ministère public a remis l'acte d'accusation au Tribunal des mineurs du canton de Genève; il demandait en outre à ce tribunal de saisir le Tribunal des mesures de contrainte (Tmc) afin que l'accusé soit placé en détention pour des motifs de sûreté.
Le 27 juillet 2012, le Tribunal des mineurs a ordonné lui-même la mise en détention pour des motifs de sûreté, en raison des charges suffisantes et d'un risque de réitération concret, l'intéressé ayant été condamné quatre fois entre 2009 et 2011 et ayant persisté dans son activité délictuelle peu avant son arrestation, ainsi que lors de deux évasions.
A._ a recouru contre cette décision auprès du Tmc. Il contestait l'existence d'une demande de mise en détention pour des motifs de sûreté ainsi que la compétence du Tribunal des mineurs pour statuer à ce sujet. Il s'opposait à la prolongation de la détention pour une durée indéterminée et se plaignait de ne pas avoir été entendu. Ce recours a été transmis par le Tmc à la Chambre pénale de recours de la Cour de justice genevoise.
B. Par arrêt du 10 août 2012, la Chambre pénale a partiellement admis le recours. La mise en détention pour des motifs de sûreté avait bien été requise par le Ministère public. Même si la loi fédérale du 20 mars 2009 sur la procédure pénale applicable aux mineurs (PPMin; RS 312.1) ne le précisait pas expressément, le Tribunal des mineurs était compétent pour ordonner les mesures de contrainte, ce qui devait inclure la détention pour des motifs de sûreté. La Chambre pénale a ensuite considéré que le recours était ouvert auprès du Tmc. Toutefois, le Tribunal des mineurs avait omis de recueillir les observations de l'intéressé avant de statuer, et avait ainsi violé le droit d'être entendu; la cause devait lui être renvoyée afin qu'il statue à bref délai. Dans l'intervalle, il n'y avait pas lieu d'ordonner une mise en liberté, dans la mesure où les conditions du maintien en détention étaient a priori réunies. L'arrêt de la Chambre pénale valait titre de détention jusqu'à droit jugé sur ce point par le Tribunal des mineurs.
C. Par acte du 12 septembre 2012, A._ forme un recours en matière pénale avec une demande d'assistance judiciaire. Il conclut à l'annulation de l'arrêt cantonal, à la constatation de la violation des art. 227 al. 2 CPP, 26 et 39 al. 3 PPMin, à la constatation de l'absence de titre de détention valable dès le 23 juillet 2012, à sa mise en liberté et à la réforme de l'arrêt cantonal en ce sens qu'une indemnité de 1'500 fr. lui est allouée à la charge de l'Etat de Genève.
La Chambre pénale de recours se réfère à son arrêt, sans observations. Le Ministère public conclut au rejet du recours.
Le recourant a répliqué, en indiquant qu'il a été jugé le 20 septembre 2012 par le Tribunal des mineurs, condamné (à huit mois et demi de privation de liberté, avec révocation de deux sursis antérieurs) et libéré immédiatement au terme de l'audience. Le recourant estime que, sa conclusion en libération mise à part, le recours conserverait son objet dans la mesure où il tend à une constatation d'illicéité de la mesure de contrainte.
Considérant en droit:
1. Selon l'art. 78 LTF, le recours en matière pénale est ouvert contre les décisions rendues en matière pénale, dont font partie les décisions rendues en matière de détention provisoire ou pour des motifs de sûreté au sens des art. 212 ss CPP (ATF 137 IV 22 consid. 1 p. 23).
1.1 L'arrêt attaqué renvoie la cause au Tribunal des mineurs afin qu'il statue à nouveau après avoir entendu le recourant. Il s'agit d'une décision incidente. Le recours n'en est pas moins recevable - indépendamment de la question du préjudice irréparable au sens de l'art. 93 al. 1 LTF - car il porte pour l'essentiel sur une question de compétence (art. 92 LTF), le recourant estimant que la question devrait être traitée en première instance par le Tmc.
1.2 Selon l'art. 81 al. 1 let. a et let. b ch. 1 LTF, le prévenu a qualité pour agir. Le recours est par ailleurs formé en temps utile (art. 100 al. 1 LTF) contre une décision rendue en dernière instance cantonale (art. 80 LTF) et les conclusions présentées sont recevables au regard de l'art. 107 al. 2 LTF. En dépit du jugement intervenu le 20 septembre 2012 et de la libération du recourant ordonnée le même jour, le recours conserve un objet: d'une part, il s'agit de statuer sur une question de principe et, d'autre part, le recourant demande une constatation d'illicéité de la mesure de détention.
2. Invoquant les art. 6 par. 1 CEDH, 10 al. 2, 30 et 31 Cst. ainsi que 26 PPMin, le recourant estime qu'il appartenait au Tmc - et non au Tribunal des mineurs - de statuer sur la demande de mise en détention pour des motifs de sûreté. Il relève que le projet initial de PPMin prévoyait de donner cette compétence au tribunal des mineurs, mais que le message à l'appui du second projet, du 22 août 2007 (en dépit du texte contraire de l'art. 25a al. 2 PPMin), entendait finalement réintroduire l'intervention du Tmc en raison du caractère permanent de cette juridiction. Telle qu'adoptée, la loi ne donnerait pas expressément de compétence au tribunal des mineurs et il y aurait lieu d'interpréter l'actuel art. 26 al. 2 et 3 PPMin sur la base des motifs précités, de la même manière que l'art. 198 al. 1 let. b CPP ne s'applique pas à la détention, régie par les règles spéciales de l'art. 229 CPP. La compétence du tribunal des mineurs pour ordonner la détention pour des motifs de sûreté poserait plusieurs problèmes liés d'une part au caractère non permanent de cette juridiction et d'autre part à l'impartialité du juge de la détention lorsque, comme en l'espèce, les questions posées se recoupent avec le fond; les art. 18 CPP et 9 PPMin excluraient un tel cumul des fonctions et les juges concernés seraient alors récusables. Le recourant relève aussi que le Tmc serait autorité de première instance pour la détention avant jugement, et deviendrait ensuite (après renvoi en jugement) autorité de recours pour statuer, le cas échéant, sur les mêmes questions.
2.1 Selon le droit de procédure pénale ordinaire, la détention provisoire est ordonnée par le Tmc, sur requête du Ministère public (art. 224 al. 2 et 225 CPP). La même autorité ordonne la détention pour des motifs de sûreté, pour la durée de la procédure de première instance (art. 229 CPP). Le tribunal de première instance décide, dans son jugement, si le prévenu doit demeurer en détention (art. 231 al. 1). La compétence passe ensuite à la juridiction d'appel (art. 231 al. 2 et 232 CPP).
2.2 Dans le cadre de la procédure pénale des mineurs, le Tmc exerce également des compétences en matière de détention: lorsque celle-ci dépasse sept jours, l'autorité d'instruction (compétente pour ordonner la mise en détention provisoire selon l'art. 26 al. 1 let. b PPMin) doit lui adresser une demande de prolongation (art. 27 al. 2 PPMin). Les art. 225 à 227 CPP sont applicables. Selon l'art. 34 PPMin, le tribunal des mineurs est compétent dès qu'il est saisi, notamment pour ordonner les mesures de contrainte prévues par la loi (al. 5). Cela est confirmé par l'art. 26 al. 3 PPMin, selon lequel lorsqu'une autorité judiciaire est saisie, elle est compétente pour ordonner les mesures de contrainte prévues par la loi.
2.3 Selon le message du 21 décembre 2005 relatif à la PPMin (FF 2006 1337 ss, p. 1350 ad art. 30 du projet), le Tmc n'existait pas en procédure pénale des mineurs. Ainsi, l'autorité habilitée à prononcer la détention provisoire était le juge des mineurs, la détention pour des motifs de sûreté étant de la compétence du tribunal des mineurs devant lequel la cause est pendante (art. 30 al. 2 du projet). La loi contenait alors déjà (art. 33 al. 4 du projet) une disposition identique à l'art. 34 al. 5 PPMin.
Le 22 août 2007, le Conseil fédéral a édicté un rapport additionnel commentant les modifications apportées au projet de PPMin du 21 décembre 2005. Ces modifications (ci-après: le second projet) découlent d'une décision de la Commission des affaires juridiques du Conseil des Etats; leur but est de tenir compte des situations très différentes existant entre les cantons (s'agissant notamment du nombre total des peines infligées) et de donner suite aux critiques formulées à l'égard du premier projet. S'agissant des mesures de contrainte, le rapport additionnel relevait que les compétences du Tmc ne sont pas précisées dans le premier projet, cette autorité n'étant d'ailleurs pas mentionnée au rang des autorités pénales par la PPMin. Le second projet attribuait au Tmc les mêmes compétences que pour la procédure applicable aux adultes, s'agissant des mesures de contrainte telles par exemple que les diverses mesures de surveillance. S'agissant de l'examen (sur recours, par opposition à la compétence pour ordonner de telles mesures, clairement distinguée dans le rapport complémentaire) de la détention provisoire et pour des motifs de sûreté, le rapport additionnel relevait que le choix du tribunal des mineurs pourrait se justifier par l'idée de faire intervenir une instance spécialisée obéissant au principe du "droit ajusté à l'auteur". Il relevait néanmoins que certains cantons ne disposaient pas de tribunaux spécialisés et que la convocation de la juridiction, non permanente, pouvait prendre un certain temps. Le Tmc assurait en revanche une permanence, de sorte qu'il y aurait "un sens à ce qu'il soit chargé de l'examen de la détention provisoire et de la détention pour des motifs de sûreté" (FF 2008 2769). Le rapport additionnel concluait qu'"après avoir pesé les avantages et les inconvénients des deux solutions, il apparaît plus indiqué de conférer cette compétence au tribunal des mesures de contrainte". Les cantons demeuraient libres de créer un Tmc chargé spécifiquement de la procédure des mineurs. Le nouveau projet prévoyait ainsi d'ajouter le Tmc dans la liste des tribunaux compétents (art. 7 PPMin), et de lui conférer la compétence pour ordonner et prolonger la détention provisoire après les sept premiers jours (art. 25b al. 2 PPMin) ainsi que pour ordonner les autres mesures de contrainte. En revanche, le projet prévoyait que le tribunal devant lequel la cause est pendante est compétent pour ordonner la détention pour des motifs de sûreté (art. 25a al. 2 PPMin). On peut dès lors en déduire, même si le rapport additionnel n'est pas des plus clair à ce propos, que la réintroduction du Tmc en procédure pénale des mineurs était limitée à la détention avant la mise en accusation.
2.4 La PPMin a été adoptée le 20 mars 2009 et est entrée en vigueur, comme le CPP, le 1er janvier 2011. On y retrouve l'art. 7 PPMin qui confirme les attributions judiciaires du Tmc (let. a). Celui-ci est compétent pour ordonner ou autoriser les "autres mesures de contrainte" (art. 26 PPMin, correspondant à l'art. 25a al. 3 du second projet), ainsi que pour prolonger la détention après les sept premiers jours (art. 27 al. 2 PPMin, correspondant en substance à l'art. 25b al. 2 du second projet). A ce stade, la procédure (y compris de recours) est semblable à celle qui est prévue dans le CPP. Même si l'art. 27 PPMin est intitulé "détention provisoire et détention pour des motifs de sûreté", il semble s'appliquer à la seule détention provisoire puisqu'il vise la période suivant immédiatement les sept premiers jours de détention, et qu'il renvoie sur ce point aux art. 225 à 227 CPP relatifs eux aussi à la détention provisoire.
Lorsque l'accusation est engagée devant le tribunal des mineurs, ce dernier devient compétent "pour ordonner les mesures de contrainte prévues par la loi" (art. 34 al. 5 PPMin, correspondant à l'art. 33 al. 4 du second projet). Cela est également rappelé à l'art. 26 al. 3 PPMin, disposition qui correspond à l'art. 25a al. 2 du second projet mais a été étendue à l'ensemble des mesures de contrainte prévues par la loi. En effet, lorsque le tribunal est saisi, les inconvénients relevés dans le rapport additionnel (retard à statuer en raison du temps nécessaire à la constitution du tribunal) n'existent plus. En revanche les avantages liés à l'intervention d'une juridiction spécialisée telle que le Tribunal des mineurs sont toujours d'actualité. En effet, selon l'art. 27 al. 1 PPMin, la détention doit demeurer exceptionnelle et l'autorité doit se livrer à un examen particulier de toutes les mesures de substitution envisageables, "même les plus originales, permettant d'éviter à un mineur de se trouver en milieu pénitentiaire" (FF 2006 1351). L'intervention d'une juridiction spécialisée est manifestement mieux à même d'assurer l'application du principe du "droit ajusté à l'auteur", tel qu'il a été voulu par le législateur.
2.5 Il ressort de ce qui précède que, même si la loi ne le précise pas expressément, la notion de mesures de contrainte au sens des art. 26 al. 3 et 34 al. 5 PPMin comprend aussi la détention pour des motifs de sûreté (HUG/SCHLÄFLI et BÜRGIN/BIAGGI, Commentaire bâlois CPP, n° 5 ad art. 26 et n° 13 ad art. 34 JStPO; Jositsch/Riesen-Kupper/Brunner/Murer Mikolásek, Schweizerische Jugendstraprozessordnung, Kommentar, n° 9 s. ad art. 26; Angelika Murer Mikolásek, Analyse der Schweizerischen Jugendstrafprozessordnung n° 965). Le tribunal des mineurs devient dès lors compétent pour statuer sur la mise en détention (ainsi que sur les demandes de mise en liberté) sitôt qu'il est saisi conformément à l'art. 328 CPP (KUHN, La procédure pénale pour mineurs, in: Jeanneret/ Kuhn (éd.), Procédure pénale suisse, Neuchâtel 2010, p. 303 ss, n. 42 et 54; cf. MAZOU, Les mesures de contrainte et le recours, in: La procédure pénale applicable aux mineurs, Neuchâtel 2011, p. 151 ss, § 17 et 43). De ce point de vue, force est de reconnaître que la solution adoptée par la cour cantonale est conforme au texte légal et apparaît également compatible avec l'interprétation historique de la PPMin.
3. Le recourant estime que le cumul des fonctions de juge du fond et de la détention serait inadmissible, notamment lorsque les questions à traiter sont identiques. Il relève que, dans son propre cas, il contestait la proportionnalité de la détention, ce qui obligerait le juge de la détention - appelé ensuite à statuer au fond - à évaluer la peine concrètement encourue. Dans sa nouvelle décision, du 22 août 2012, le Tribunal des mineurs a d'ailleurs déjà rejeté les griefs relatifs aux principes de célérité et de proportionnalité, préjugeant ainsi de la culpabilité du recourant.
3.1 En procédure pénale ordinaire, les juges du Tmc ne peuvent pas statuer sur le fond dans la même affaire (art. 18 al. 2 CPP). Le cumul des fonctions de juge de la détention et de juge du fond est ainsi expressément prohibé par la loi. Comme le reconnaît le recourant, un tel cumul est toutefois en principe admissible au regard des dispositions constitutionnelles et conventionnelles relatives à l'indépendance et à l'impartialité des juges (art. 30 al. 1 Cst. et 6 par. 1 CEDH), sous réserve de l'identité des questions à traiter (ATF 117 Ia 182). Le tribunal des mineurs étant déjà saisi lorsqu'il statue sur la détention, il examine l'existence de charges suffisantes sur la base de l'acte d'accusation. Il ne doit donc pas procéder, à ce stade, à une appréciation de la culpabilité du prévenu, mais simplement s'interroger sur l'existence des risques mentionnés à l'art. 221 CPP, question qui apparaît suffisamment distincte du fond.
3.2 En procédure pénale des mineurs, le premier projet de loi prévoyait la récusation du juge des mineurs si celui-ci avait ordonné la détention provisoire, si les faits étaient contestés ou si un recours était pendant contre ses actes de procédure; le prévenu mineur pouvait toutefois consentir expressément à la participation d'un tel magistrat au tribunal. Dans son rapport additionnel, le Conseil fédéral considérait que cette disposition était trop stricte et qu'il y avait lieu de favoriser la participation aux débats d'un juge qui connaissait personnellement le prévenu, car il s'agissait là d'une particularité de la procédure pénale applicable aux mineurs (en ce sens: Angelika Murer Mirkolásek, op. cit., n° 958-960). Afin de concilier cette exigence avec celle d'un juge impartial, l'art. 10 du projet a été reformulé (cf. art. 9 PPMin) et il a été renoncé à toute clause spéciale d'incompatibilité (FF 2008 2773). Le prévenu dispose désormais d'un droit de récuser le juge des mineurs, sans avoir à motiver cette demande. Si le législateur n'a pas voulu systématiquement sanctionner la participation aux débats du juge qui a instruit la cause, cela est vrai à plus forte raison pour celui qui a statué sur la détention.
L'argument tiré de l'impartialité du juge doit dès lors être écarté.
4. Le recourant considère ensuite que si la compétence pour ordonner la détention appartient bien au tribunal des mineurs, cela entraînerait potentiellement quatre degrés de juridiction (tribunal des mineurs, Tmc, autorité de recours, Tribunal fédéral). Le recourant met par ailleurs en doute la compétence de l'autorité de recours et, partant, la validité de l'arrêt attaqué.
4.1 En matière de procédure pénale applicable aux mineurs, les voies de recours font l'objet des art. 38 ss PPMin. Selon l'art. 39 al. 3 PPMin, la compétence générale pour statuer sur les recours appartient à l'autorité de recours; en cas de recours contre la détention provisoire ou la détention pour des motifs de sûreté, elle appartient au Tmc (KUHN, op. cit. n. 49 in fine et 54 in fine; HUG/SCHLÄFLI et BÜRGIN/BIAGGI, op. cit., n° 8 ad art. 39). Sur ce point également, l'arrêt attaqué est conforme au droit fédéral.
4.2 Le recourant se contente par ailleurs de mettre en doute la compétence de la cour cantonale pour statuer. Cette compétence résulte toutefois du système tel qu'il découle de la loi. En effet, selon l'art. 380 CPP (applicable en vertu du renvoi général opéré à l'art. 3 al. 1 PPMin), seules les décisions qualifiées de définitives ou de non sujettes à recours ne peuvent pas faire l'objet d'un des moyens de recours prévus par la loi. Or, la PPMin ne prévoit nullement que la décision rendue par le Tmc en application de l'art. 39 al. 3 in fine serait définitive ou non sujette à recours. Il en résulte que la voie du recours est ouverte, comme le prévoit l'art. 393 al. 1 let. c CPP. La multiplication des instances de recours pourrait certes apparaître problématique au regard de l'impératif de célérité qui prévaut en matière de détention provisoire (cf. art. 5 al. 2 CPP). Il appartient dès lors aux autorités saisies de statuer rapidement. Quant au problème de récusation soulevé par le recourant à l'égard du Tmc (lequel doit se prononcer en première instance durant l'instruction, puis sur recours après le renvoi en jugement), il peut être résolu par l'application, le cas échéant, des règles générales du CPP relatives à la récusation.
4.3 C'est également en vain que le recourant se plaint de l'absence d'une demande écrite et motivée de la part du Ministère public. Ce dernier a adressé au Tribunal des mineurs, avec son acte d'accusation, une demande afin que ce dernier saisisse le Tmc. Le recourant se réfère à tort à l'art. 227 al. 2 CPP puisque cette disposition concerne la détention provisoire. S'agissant d'une détention pour des motifs de sûreté, l'art. 229 al. 1 CPP est applicable (Angelika Murer Mikolásek, op. cit., n° 957) et requiert une simple demande écrite sans exigence particulière de motivation. Dès lors, même si le Ministère public n'a pas visé l'autorité compétente, une demande a bel et bien été adressée au Tribunal des mineurs tendant à la mise en détention pour des motifs de sûreté. Cela suffit à satisfaire aux exigences de l'art. 229 CPP.
5. Le recourant invoque enfin les art. 421 et 436 CPP. Il relève que la constatation d'une irrégularité de procédure - en l'espèce la violation de son droit d'être entendu - lui donnerait droit à une constatation immédiate, à l'exemption des frais de justice ainsi qu'à une indemnisation pour ses frais de défense, y compris lorsque le prévenu bénéficie de l'assistance judiciaire. Le recourant réclame à ce titre 1'500 fr. d'indemnité.
5.1 La jurisprudence à laquelle se réfère le recourant concerne les cas où une irrégularité - constitutive d'une violation d'une garantie constitutionnelle - a entaché la procédure et doit être réparée par une décision de constatation assortie d'une dispense de frais (ATF 137 IV 92 consid. 3 p. 96; 136 I 274 consid. 2.3 p. 278). Dans ces cas, l'octroi d'une indemnité pour les frais de défense participe de cette réparation, même si le prévenu est au bénéfice de l'assistance judiciaire, et impose une décision à brève échéance ainsi qu'un recours immédiat (arrêt 1B_134/2012 du 8 mai 2012).
5.2 En l'occurrence, la cour cantonale a constaté que le recourant n'avait pas été entendu avant le prononcé de mise en détention pour des motifs de sûreté. La cause a donc été renvoyée au Tribunal des mineurs pour nouvelle décision. Au contraire d'une violation du principe de la célérité, le vice invoqué a pu être entièrement réparé. Cela n'appelait par conséquent ni jugement de constatation, ni une indemnisation du prévenu supplémentaire à celle qui lui est accordée au titre de l'assistance judiciaire. Le grief doit donc, lui aussi, être rejeté.
6. Sur le vu de ce qui précède, le recours doit être rejeté. Le recourant a demandé l'assistance judiciaire, et les conditions en paraissent réunies. Me Gaétan Droz est désigné comme avocat d'office, rétribué par la caisse du Tribunal fédéral, et il n'est pas perçu de frais judiciaires (art. 64 al. 1 et 2 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. La demande d'assistance judiciaire est admise; Me Gaétan Droz est désigné comme avocat d'office du recourant et une indemnité de 1'500 fr. lui est allouée à titre d'honoraires, à verser par la caisse du Tribunal fédéral. Il n'est pas perçu de frais judiciaires.
3. Le présent arrêt est communiqué au mandataire du recourant, au Ministère public, à la Cour de justice, Chambre pénale de recours, au Tribunal des mineurs et au Tribunal pénal de la République et canton de Genève, Tribunal des mesures de contrainte.
Lausanne, le 22 octobre 2012
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président: Fonjallaz
Le Greffier: Kurz