Sachverhalt:
A. Am 31. Januar 2008 verurteilte das Bezirksstrafgericht Sense X._ hauptsächlich wegen Verstössen gegen das Betäubungsmittelgesetz zu einer unbedingten Freiheitsstrafe von 18 Monaten und einer Busse von 1'500 Franken.
Am 19. März 2009 wies der Strafappellationshof des Kantons Freiburg in der Besetzung Josef Hayoz (Präsident), André Riedo und Francine Defferrard (Richter) sowie Claudio Buchs (Gerichtsschreiber) die Berufung von X._ gegen seine Verurteilung ab, soweit er darauf eintrat.
Am 28. September 2009 hiess die Strafrechtliche Abteilung des Bundesgerichts die Beschwerde von X._ mit Urteil 6B_498/2009 teilweise gut, hob das Urteil des Strafappellationshofs vom 19. März 2009 auf und wies die Sache zur ergänzenden Sachverhaltsfeststellung und neuen Entscheidung im Sinne der Erwägungen an die Vorinstanz zurück. Im Übrigen wies es die Beschwerde ab, soweit es darauf eintrat.
B. Am 2. Dezember 2009 stellte X._ beim Strafappellationshof ein Ausstandsbegehren gegen Josef Hayoz, André Riedo und Francine Defferrard. Der erstere habe in der Angelegenheit "R. Richle, Brief Papaux vom 9. April 2009" eine ihm von Gesetzes wegen zukommende Entscheidung nicht getroffen und damit gezeigt und bewiesen, dass er nicht unabhängig sei. In Bezug auf die letzteren beiden habe er vor Bundesgericht behauptet, dass sie keinen Einblick in die viele Bundesordner zählenden Strafakten genommen und damit die Prozessmaterie grundsätzlich nicht gekannt hätten. Das Bundesgericht sei auf diese Rüge nicht eingetreten, weshalb der Vorwurf weitergelte. Ein Richter ohne Dossierkenntnis sei befangen, da er gezwungenermassen auf die Erkenntnisse des Hauptrichters abstellen müsse. André Riedo und Francine Defferrard würden den Vorwurf der fehlenden Dossierkenntnis gar nicht bestreiten, und er habe vom Büropersonal in Givisiez indirekt die Auskunft bekommen, dass die beiden nie beim Aktenstudium gesehen worden seien. Er selber habe mittels angebrachter Markierungen festgestellt, dass die Akten gar nie geöffnet worden seien.
C. Das Freiburger Kantonsgericht wies das Ausstandsgesuch am 4. März 2010 ab, soweit es darauf eintrat.
Mit "rechtsstaatlicher Beschwerde wegen Willkür" beantragt X._, dieses kantonsgerichtliche Urteil aufzuheben und die Sache zu neuem Entscheid an die Vorinstanz zurückzuweisen.
D. Das Kantonsgericht und die Staatsanwaltschaft verzichten auf Vernehmlassung. Der Präsident des Strafappellationshofs, Hayoz, teilt mit, die Richter Hayoz, Riedo und Defferrard würden auf persönliche Vernehmlassungen verzichten. Für den Strafappellationshof beantragt er, die Beschwerde abzuweisen, sofern diese überhaupt zulässig sein sollte. Er legt einen von ihm verfassten, an die Richter Riedo und Deferrard gerichteten Brief vom 21. Januar 2009 ins Recht, aus dem hervorgeht, dass ihnen fast zwei Monate vor der Hauptverhandlung mehrere Akten für deren Vorbereitung zugestellt worden sind. Francine Defferrard erklärt, auf eine persönliche Stellungnahme zu verzichten.
E. Auf Aufforderung des Präsidenten der I. öffentlich-rechtlichen Abteilung des Bundesgerichts reicht X._ die Personalien der Person ein, die bezeugen soll, dass er seine Beschwerde am 3. Mai 2010 der Post in Franex übergeben hat (Y._).

Erwägungen:
1. Der angefochtene Entscheid schliesst das Strafverfahren gegen den Beschwerdeführer nicht ab, er ermöglicht vielmehr dessen Weiterführung. Es handelt sich um einen selbstständig eröffneten, kantonal letztinstanzlichen Zwischenentscheid über ein Ausstandsbegehren, gegen den die Beschwerde in Strafsachen nach <ref-law> zulässig ist. Als Angeklagter bzw. erstinstanzlich Verurteilter ist der Beschwerdeführer zur Beschwerde berechtigt (Art. 81 Abs. 1 lit. a und b BGG). Die übrigen Sachurteilsvoraussetzungen geben zu keinen Bemerkungen Anlass, weshalb auf die Beschwerde einzutreten ist.
Nach <ref-law> entscheidet die Abteilung in Dreierbesetzung mit summarischer Begründung über eine offensichtlich unbegründete Beschwerde.
2. 2.1 Der Beschwerdeführer hat bereits in seiner am 2. Juni 2009 bei der Strafrechtlichen Abteilung eingegangenen Beschwerde gegen das Urteil des Strafappellationshofs vom 19. März 2009 geltend gemacht, die beiden Ersatzrichter Riedo und Defferrard seien wegen "lakunärer" Dossierkenntnisse keine verfassungsmässigen, unbefangenen Richter gewesen. Die Strafrechtliche Abteilung trat im Urteil 6B_498/2009 vom 28. September 2009 auf die Rüge wegen ungenügender Begründung nicht ein (E. 2 S. 3).
Dem vom Beschwerdeführer nach Entgegennahme des Urteils 6B_498/2009 erneut gestellten, wiederum in gleicher Weise mit angeblich fehlender Aktenkenntnis bei der Fällung des Urteils vom 19. März 2009 begründeten Ausstandsbegehren gegen die Ersatzrichter Riedo und Defferrard steht damit ohne Weiteres die Rechtskraft des bundesgerichtlichen Urteils 6B_498/2009 entgegen. Sein Vorgehen, am 2. Dezember 2009 erneut ein gleich begründetes Ablehnungsgesuch zu stellen und den Ausschluss der beiden Ersatzrichter sowohl für ihre Mitwirkung am Urteil vom 19. März 2009 als auch für die Fortführung des Strafverfahrens nach dem bundesgerichtlichen Rückweisungsentscheid zu verlangen, ist offensichtlich unzulässig und grenzt - der Beschwerdeführer ist Rechtsanwalt - an Trölerei. Er macht zwar nunmehr geltend, mit den Stellungnahmen der beiden Ersatzrichter - sie datieren vom 16. Dezember 2009 und vom 11. Januar 2010 - verfüge er jetzt neu über Beweise dafür, dass diese ohne Kenntnis der Dossierakten am Urteil vom 19. März 2009 mitgewirkt hätten. Damit behauptet er indessen, über erhebliche neue Beweismittel zu verfügen. Das wäre ein Revisionsgrund im Sinn von Art. 223 Abs. 1 lit. a der Strafprozessordnung des Kantons Freiburg vom 14. November 1996 und müsste im entsprechenden Verfahren vorgebracht werden. Eine allfällige Revision des Urteils des Strafappellationshofs vom 19. März 2009 kann nicht Gegenstand des vorliegenden Verfahrens sein. Im Übrigen ist die Behauptung ohnehin haltlos, keine der beiden ersatzrichterlichen Stellungnahmen enthält ein Eingeständnis, am Urteil vom 19. März 2009 ohne ausreichende Aktenkenntnis mitgewirkt zu haben.
Da Ausstandsbegehren nach Treu und Glauben ohne Verzug nach Kenntnisnahme der Ausstandsgründe zu stellen sind (<ref-ruling> E. 4.3.1; <ref-ruling> E. 4.3; <ref-ruling> E. 2) und der Beschwerdeführer die angeblich mangelhafte Aktenkenntnis der Ersatzrichter Riedo und Defferrard an der Hauptverhandlung des Strafappellationshofs erkannt haben will, die zum Urteil vom 19. März 2009 führte, erweist sich das Ausstandsbegehren vom 2. Dezember 2009 zudem als verspätet und unter diesem Gesichtspunkt als rechtsmissbräuchlich.
2.2 Das Ablehnungsbegehren vom 2. Dezember 2009 gegen Präsident Hayoz wird mit einem Brief des Kantonsgerichtspräsidenten Alexandre Papaux vom 9. April 2009 an Roman Richle begründet, der dem Beschwerdeführer gemäss Verteiler zur Kenntnis zugestellt wurde. Es ist damit, gut 7 Monate nachdem er von diesem Brief Kenntnis erhielt, längst verspätet und damit rechtsmissbräuchlich.
3. Die Beschwerde erweist sich somit als offensichtlich unbegründet und ist im Verfahren nach <ref-law> abzuweisen, soweit darauf einzutreten ist. Bei diesem Ausgang des Verfahrens wird der Beschwerdeführer kostenpflichtig (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird dem Beschwerdeführer, Josef Hayoz, Francine Defferrard und André Riedo sowie der Staatsanwaltschaft und dem Kantonsgericht Freiburg schriftlich mitgeteilt.
Lausanne, 16. Juli 2010
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Féraud Störi