Sachverhalt:
A.
Die Staatsanwaltschaft Basel-Stadt führt gegen A._ ein Strafverfahren u.a. wegen sexueller Nötigung und Vergewaltigung. Am 29. Januar 2019 wurde er im Beisein seiner damaligen amtlichen Verteidigerin, Advokatin Vogel, erstmals zur Sache einvernommen. Nachdem diese festgestellt hatte, dass ihre Bürokollegin die Vertretung des mutmasslichen Opfers übernommen hatte, legte sie ihr Mandat gleichentags nieder.
Am 5. Februar 2019 beantragte der nunmehr von Advokat Stefan Kunz notwendig verteidigte A._, das Protokoll der Einvernahme vom 29. Januar 2019 aus den Akten zu weisen, da er zu diesem Zeitpunkt nicht wirksam verteidigt gewesen sei. Die Staatsanwaltschaft wies den Antrag gleichentags ab.
Am 4. März 2020 wurde Advokat Stefan Kunz auf Wunsch von A._ aus seinem Amt entlassen. An seiner Stelle wurde Advokat Christian von Wartburg als amtlicher Verteidiger eingesetzt.
Am 2. Oktober 2020 beantragte A._ erneut, das Einvernahmeprotokoll vom 29. Januar 2019 aus den Akten zu entfernen. Zudem beantragte er die Durchführung einer Konfrontationseinvernahme mit dem mutmasslichen Opfer. Beide Anträge wurden von der Staatsanwaltschaft am 3. November 2020 abgewiesen.
Dagegen erhob A._ am 16. November 2020 Beschwerde ans Appellationsgericht mit den Anträgen, die Verfügung der Staatsanwaltschaft vom 3. November 2020 aufzuheben und die Staatsanwaltschaft anzuweisen, seinen Beweisanträgen stattzugeben. Er ersuchte zudem, seiner Beschwerde aufschiebende Wirkung beizulegen und die Strafgerichtspräsidentin anzuweisen, mit der Instruktion des Falles bis zum Beschwerdeentscheid zuzuwarten. Zudem sei die Staatsanwaltschaft anzuweisen, das Strafgericht um Rückweisung der Anklage zu ersuchen.
Am 4. Januar 2021 beantragte A._ der Strafgerichtspräsidentin, das Strafverfahren gegen ihn zu sistieren, was diese mit Verfügung vom 8. Januar 2021 ablehnte.
Am 20. Januar 2021 verlangte A._ den Ausstand der Strafgerichtspräsidentin und tags darauf erhob er Beschwerde gegen deren Verfügung vom 8. Januar 2021. Die Strafgerichtspräsidentin überwies das Ausstandsgesuch an das Appellationsgericht mit dem Antrag, es abzuweisen.
Das Appellationsgericht vereinigte die Verfahren und wies die Beschwerden am 19. Mai 2021 ab, soweit es darauf eintrat. Das Ausstandsgesuch gegen die Strafgerichtspräsidentin wies es ab.
B.
Mit Beschwerde vom 5. Juli 2021 beantragt A._, diesen Entscheid des Appellationsgerichts aufzuheben und die Sache zur Neubeurteilung an dieses zurückzuweisen. Es sei zudem anzuweisen, das Strafgericht zur Entfernung aller Beweise aufzufordern, die vor der Bestellung einer gehörigen Verteidigung erstellt worden seien und es aufzufordern, den Spruchkörper zufolge Vorbefassung mit unverwertbaren Akten neu zu besetzen. Zudem ersucht er, seiner Beschwerde aufschiebende Wirkung beizulegen und die Hauptverhandlung abzusetzen. Er ersucht um unentgeltliche Prozessführung und Verbeiständung.
C.
Die Strafgerichtspräsidentin beantragt, das Gesuch um aufschiebende Wirkung und die Beschwerde abzuweisen. Das Appellationsgericht beantragt, die Beschwerde abzuweisen.
A._ verzichtet auf weitere Bemerkungen.

Erwägungen:
1.
1.1. Angefochten ist ein kantonal letztinstanzlicher Entscheid, mit dem es das Appellationsgericht u.a. abgelehnt hat, die Entfernung aller Akten, die vor der Bestellung einer gehörigen Verteidigung ergangen seien, und die Neubesetzung des Spruchkörpers des Strafgerichts wegen Vorbefassung durch Kenntnisnahme von unverwertbaren Beweismitteln anzuordnen; dagegen ist die Beschwerde in Strafsachen zulässig (Art. 78 Abs. 1, Art. 80 BGG). Er schliesst das Verfahren indessen nicht ab; es handelt sich mithin um einen Zwischenentscheid, gegen den die Beschwerde zulässig ist, wenn er einen nicht wieder gutzumachenden Nachteil rechtlicher Natur (<ref-ruling> E. 4) bewirken könnte (<ref-law>) oder wenn die Gutheissung der Beschwerde sofort einen Endentscheid herbeiführen und damit einen bedeutenden Aufwand an Zeit oder Kosten für ein weitläufiges Beweisverfahren ersparen würde (<ref-law>). Die zweite Voraussetzung fällt vorliegend ausser Betracht.
1.2. Ein nicht wiedergutzumachender Nachteil rechtlicher Natur liegt vor, wenn er auch durch einen für den Beschwerdeführer günstigen späteren End- oder anderen Entscheid nicht mehr behoben werden kann (<ref-ruling> E. 2.1 S. 173 f.). Nach dem in Absprache mit der Strafrechtlichen Abteilung gefällten Leitentscheid <ref-ruling> stellt der alleinige Umstand, dass ein Beweismittel, dessen Verwertbarkeit der Beschwerdeführer bestreitet, in den Akten bleibt, grundsätzlich keinen Nachteil rechtlicher Natur dar, da der Beschwerdeführer seinen Einwand bis zum Abschluss des Strafverfahrens erneut vorbringen kann. Er kann die Frage der Verwertbarkeit des Beweismittels namentlich dem Sachrichter unterbreiten (<ref-law>). Von diesem kann erwartet werden, dass er in der Lage ist, die unzulässigen Beweise von den zulässigen zu unterscheiden und sich bei der Würdigung ausschliesslich auf Letztere zu stützen. Der Betroffene kann das Urteil des Sachrichters in der Folge mit Berufung anfechten (<ref-law>) und die Angelegenheit schliesslich an das Bundesgericht weiterziehen.
Von dieser Regel bestehen jedoch Ausnahmen. Eine solche liegt insbesondere vor, wenn das Gesetz ausdrücklich die sofortige Rückgabe aus den Akten bzw. Vernichtung rechtswidriger Beweise vorsieht (vgl. z.B. Art. 248, Art. 271 Abs. 3, Art. 277 und Art. 289 Abs. 6 StPO). Ebenso verhält es sich, wenn aufgrund des Gesetzes oder der Umstände des Einzelfalles die Rechtswidrigkeit des Beweismittels ohne Weiteres feststeht. Derartige Umstände können nur angenommen werden, wenn der Betroffene ein besonders gewichtiges rechtlich geschütztes Interesse an der unverzüglichen Feststellung der Unverwertbarkeit des Beweises geltend macht (<ref-ruling> E. 1.2 und 1.3).
1.3. Der Beschwerdeführer macht geltend, aufgrund der Umstände stehe ohne Weiteres fest, dass die Ersteinvernahme rechtswidrig gewesen sei, da er nicht gehörig vertreten gewesen sei, obwohl ein Fall notwendiger Verteidigung vorgelegen habe. Die Einvernahme sei denn auch wiederholt worden, ohne dass indessen die eindeutig unverwertbare Ersteinvernahme aus den Akten entfernt worden wäre. Sein amtlicher Verteidiger habe rechtzeitig und konsequent alle Rechtsmittel ausgeschöpft um zu verhindern, dass die absolut unverwertbare Erstaussage dem Sachgericht zur Kenntnisnahme zur Verfügung stehe und damit unterschwellig in die Urteilsfindung einfliessen könne. Aus diesen Gründen könne der angefochtene Entscheid nach der (oben in E. 1.2 dargelegten) Bundesgerichtspraxis einen nicht wiedergutzumachenden Nachteil rechtlicher Natur bewirken.
Dem kann nicht gefolgt werden. Zum einen steht keineswegs ohne Weiteres fest, dass die Ersteinvernahme unverwertbar ist. Der Beschwerdeführer war dabei durch Advokatin Vogel anwaltlich vertreten. Der Beschwerdeführer macht nicht einmal geltend, diese habe ihr Mandat mangelhaft wahrgenommen, und dafür sind auch keine Hinweise ersichtlich. Vom objektiv bestehenden Interessenkonflikt - ihre Büropartnerin hatte die Vertretung des Opfers übernommen - hatte sie im Zeitpunkt der Einvernahme keine Kenntnis, weshalb ausgeschlossen werden kann, dass ihre Mandatsführung durch ihn beeinträchtigt wurde. Ob unter diesen Umständen davon auszugehen ist, der Beschwerdeführer sei bei seiner Ersteinvernahme nicht gehörig vertreten gewesen, steht damit entgegen seiner Einschätzung keineswegs eindeutig fest. Dies erscheint vielmehr fraglich. Der Entscheid über die Verwertbarkeit der Erstaussage kann damit dem Sachgericht überlassen werden. Von diesem kann erwartet werden, dass es sie bei der Urteilsfällung unberücksichtigt lässt, falls es sie für unverwertbar erklärt. Damit erweist sich auch die Forderung des Beschwerdeführers, den Spruchkörper des Sachgerichts vollständig auszutauschen, weil die bisherige Besetzung durch die Kenntnisnahme der angeblich unverwertbaren Erstaussage befangen sei, als unbegründet. Der anfangs März 2020 amtlich mandatierte Anwalt des Beschwerdeführers hat im Übrigen erst am 2. Oktober 2020, mithin über ein halbes Jahr später und kurz vor der Überweisung der Anklage ans Strafgericht vom 3. November 2020, die Entfernung des Protokolls der Ersteinvernahme aus den Akten verlangt. Seine Behauptung, er habe "alles dafür getan, dass diese Erstaussage dem Gericht nicht zur Kenntnis gebracht wird und rechtzeitig und konsequent alle Rechtsmittel ausgeschöpft", trifft jedenfalls in zeitlicher Hinsicht nicht zu.
1.4. Soweit der Beschwerdeführer die Ersetzung der dem Spruchkörper des Strafgerichts angehörenden Richter und Gerichtsschreiber und damit faktisch deren Ausstand verlangt, ist auf die Beschwerde nach <ref-law> einzutreten. Vor dem Appellationsgericht hat der Beschwerdeführer indessen nur den Ausstand der Strafgerichtspräsidentin verlangt. Soweit er neu auch den Ausstand der übrigen Mitglieder des Spruchkörpers verlangt, liegt dies ausserhalb des Streitgegenstands, weshalb darauf insoweit nicht einzutreten ist.
Die Befangenheit des Spruchkörpers und damit auch der Strafgerichtspräsidentin begründet der Beschwerdeführer einzig mit dem Argument (Beschwerde S. 13 bb), sie sei durch die Kenntnisnahme des Protokolls der Ersteinvernahme wegen unzulässiger Vorbefassung befangen. Wie sich aus den vorstehenden Ausführungen (E. 1.3) ergibt, steht indessen entgegen der Auffassung des Beschwerdeführers keineswegs fest, dass die Ersteinvernahme unverwertbar ist. Und selbst wenn sie sich als unverwertbar erweisen sollte, würde das nach der in E. 1.2 angeführten Rechtsprechung nicht bedeuten, dass die Strafgerichtspräsidentin nach der Einsichtnahme in das entsprechende Protokoll ohne Weiteres in den Ausstand treten müsste. Die Rüge ist offenkundig unbegründet.
2.
Die Beschwerde ist im vereinfachten Verfahren nach <ref-law> abzuweisen, soweit darauf einzutreten ist, weil einerseits das Ausstandsbegehren unbegründet ist und anderseits die Voraussetzungen von <ref-law> nicht erfüllt sind. Mit dem Entscheid in der Sache sind auch die Gesuche um aufschiebende Wirkung und Absetzung der Hauptverhandlung hinfällig geworden.
Bei diesem Ausgang des Verfahrens wird der Beschwerdeführer kostenpflichtig (<ref-law>). Er hat zwar ein Gesuch um unentgeltliche Rechtspflege und Verbeiständung gestellt, welches indessen abzuweisen ist, da die Beschwerde aussichtslos war (Art. 64 Abs. 1 und 2 BGG).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Das Gesuch um unentgeltliche Rechtspflege und Verbeiständung wird abgewiesen.
3.
Die Gerichtskosten von Fr. 1'000.-- werden dem Beschwerdeführer auferlegt.
4.
Dieses Urteil wird dem Beschwerdeführer, der Staatsanwaltschaft des Kantons Basel-Stadt, der Strafgerichtspräsidentin des Kantons Basel-Stadt und dem Appellationsgericht des Kantons Basel-Stadt, Einzelgericht, schriftlich mitgeteilt.
Lausanne, 13. September 2021
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Kneubühler
Der Gerichtsschreiber: Störi