Sachverhalt:
A. Das Kantonale Untersuchungsrichteramt der Staatsanwaltschaft des Kantons St. Gallen führt gegen X._ ein Strafverfahren wegen gewerbsmässigen Betrugs, mehrfacher Urkundenfälschung und mehrfacher Geldwäscherei. X._ wurde am 17. März 2009 in Untersuchungshaft genommen. Nachdem er ein Gesuch um vorzeitigen Strafantritt gestellt hatte, entliess ihn das Kantonale Untersuchungsrichteramt am 22. Juni 2009 unter verschiedenen Auflagen zur Senkung der Fortsetzungsgefahr aus der Untersuchungshaft. Am 22. Juli 2009 trat X._ den vorzeitigen Strafvollzug an.
Am 30. Oktober 2009 widerrief X._ seine Einwilligung zum vorzeitigen Strafvollzug. Am 9. November 2009 beantragte der Untersuchungsrichter dem Haftrichter des Kreisgerichts St. Gallen, den vorzeitigen Strafvollzug aufzuheben und X._ in Untersuchungshaft zu versetzen.
Am 4. Dezember 2009 hob der Haftrichter des Kreisgerichts St. Gallen den vorzeitigen Strafvollzug auf und verfügte, X._ sei bis spätestens am 9. Dezember 2009 unter den vom Untersuchungsrichter noch zu verfügenden Ersatzmassnahmen aus der Haft zu entlassen.
X._ wurde am 9. Dezember 2009 aus der Haft entlassen. Der Untersuchungsrichter hielt X._ im Sinne einer unverbindlichen Aufforderung an, ihn über seinen Aufenthaltsort und seine Arbeitsstelle zu informieren und sich wöchentlich bei der Polizei zu melden. Er verfügte keine weiteren Massnahmen.
Am 23. Dezember 2009 erhob die Staatsanwaltschaft bei der Anklagekammer Rechtsverweigerungsbeschwerde. Sie beantragte, es sei festzustellen, dass der Haftrichter willkürlich gehandelt habe, indem er ihr die Eingaben von X._ und dessen Verteidigers im Haftprüfungsverfahren unter Verletzung des rechtlichen Gehörs nicht zugestellt und die Ersatzmassnahmen für die Entlassung von X._ aus dem vorzeitigen Strafvollzug in gesetzwidriger Weise an den Untersuchungsrichter delegiert habe. Eventualiter sei zudem eine willkürliche Tatsachenfeststellung durch den Haftrichter festzustellen. Der Entscheid des Haftrichters vom 4. Dezember 2009 sei aufzuheben und die Sache an diesen zurückzuweisen mit der Anweisung, der Staatsanwaltschaft das rechtliche Gehör zu den Eingaben von X._ und seines Verteidigers zu gewähren.
B. Die Anklagekammer wies die Beschwerde der Staatsanwaltschaft am 24. Februar 2010 ab.
Mit Beschwerde in Strafsachen beantragt die Staatsanwaltschaft, diesen Entscheid aufzuheben und die Sache zur Neubeurteilung unter Beachtung ihrer verfassungsmässigen Rechte an die Vorinstanz zurückzuweisen.
C. Der Haftrichter verzichtet auf Vernehmlassung. Die Anklagekammer beantragt, die Beschwerde abzuweisen, soweit darauf einzutreten sei. X._ beantragt, die Beschwerde abzuweisen.

Erwägungen:
1. Angefochten ist ein kantonal letztinstanzlicher Rechtsmittelentscheid über eine Haftentlassung. Dagegen ist die Beschwerde in Strafsachen nach den <ref-law> ist gegeben.
Nach <ref-law> ist zur Beschwerde berechtigt, wer am Verfahren vor der Vorinstanz teilgenommen hat und ein rechtlich geschütztes Interesse an der Aufhebung oder Änderung des angefochtenen Entscheids hat. Da das Bundesgericht nur konkrete und keine bloss theoretischen Fragen entscheidet, tritt es aus Gründen der Prozessökonomie auf Beschwerden nur ein, wenn die Beschwerdeführer ein aktuelles praktisches Interesse an ihrer Behandlung haben (<ref-ruling> E. 3 S. 84; <ref-ruling> E. 4a S. 397; je mit Hinweisen).
Wird ein Untersuchungsgefangener aus der Haft entlassen, obwohl ein Haftgrund besteht, kann das die Fortführung des Strafverfahrens erschweren oder gar vereiteln. Die Staatsanwaltschaft, die verpflichtet ist, eine Strafuntersuchung durchzuführen, wenn ihr konkrete Anhaltspunkte auf eine von Amtes wegen zu verfolgende Straftat vorliegen (Art. 61 Abs. 1 des Strafprozessgesetzes des Kantons St. Gallen vom 1. Juli 1999, StP), hat somit grundsätzlich ein Rechtsschutzinteresse, sich gegen die aus ihrer Sicht ungerechtfertigte Entlassung eines Angeschuldigten aus der Untersuchungshaft zur Wehr zu setzen. Vorliegend hat allerdings der Untersuchungsrichter den Haftentscheid vom 4. Dezember 2009 insoweit vollzogen, als er veranlasste, den Beschwerdegegner am 9. Dezember 2009 aus der Untersuchungshaft zu entlassen. Er hat nichts unternommen, um den Vollzug des Haftentscheids vom 4. Dezember 2009 zu hemmen, und auch die Staatsanwaltschaft, die diesen am 23. Dezember 2009 mit Rechtsverweigerungsbeschwerde anfocht, unterliess es, dem Präsidenten der Anklagekammer zu beantragen, ihrer Beschwerde eine vollzugshemmende Wirkung zuzuerkennen, wozu sie nach Art. 256 Abs. 3 StP befugt gewesen wäre. Bei Einreichung ihrer Beschwerde ans Bundesgericht vom 29. April 2010 befand sich der Beschwerdegegner somit bereits rund 4 1⁄2 Monate in Freiheit. Unter diesen Umständen verfügt die Staatsanwaltschaft offensichtlich nicht mehr über ein aktuelles Rechtsschutzinteresse an der Prüfung der Frage, ob der Beschwerdegegner damals zu Recht oder Unrecht aus der Haft entlassen worden war. Dies umso weniger, als sie bei veränderter Sachlage, etwa wenn sich entsprechend ihrer Befürchtung Hinweise auf eine erneute deliktische Tätigkeit des Beschwerdegegners ergäben, wiederum Zwangsmassnahmen gegen ihn ergreifen kann. Auf die Beschwerde ist somit mangels eines aktuellen Rechtsschutzinteresses nicht einzutreten.
Allerdings verzichtet das Bundesgericht ausnahmsweise auf das Erfordernis des aktuellen praktischen Interesses, namentlich wenn sich die aufgeworfenen Fragen jederzeit unter gleichen oder ähnlichen Umständen wieder stellen können und an deren Beantwortung wegen der grundsätzlichen Bedeutung ein hinreichendes öffentliches Interesse besteht und sofern diese im Einzelfall kaum je rechtzeitig verfassungsgerichtlich geprüft werden könnten (BGE <ref-ruling> E. 4b zu Art. 88 OG; die Praxis gilt auch unter der Herrschaft des BGG weiter, <ref-ruling> nicht publizierte E. 2.1 und Entscheid 1C_89/2007 vom 13. Juli 2007 E. 1.3). Vorliegend ergibt sich zwar aus der Beschwerde, dass es der Staatsanwaltschaft nicht nur um den vorliegenden Einzelfall des Beschwerdegegners geht, sondern um die Klärung grundsätzlicher Kompetenzfragen zwischen Untersuchungsrichter und Haftrichter nach dem kantonalen Strafprozessgesetz. Sie legt allerdings unter Verletzung ihrer gesetzlichen Begründungspflicht (<ref-ruling> E. 2; <ref-ruling> E. 1.4) nicht dar, dass und inwiefern ihre Beschwerde nach der dargelegten Praxis trotz fehlenden aktuellen Rechtsschutzinteresses zu behandeln wäre, was ein ausnahmsweises Eintreten von vornherein ausschliesst. Da die kantonalen Strafprozessordnungen mit dem Inkrafttreten der Schweizerischen Strafprozessordnung am 1. Januar 2011 (AS 2010 2020) ihre Anwendbarkeit verlieren, bestünde im Übrigen auch kein hinreichendes öffentliches Interesse mehr an der Klärung der aufgeworfenen Zuständigkeitsfragen, das ein ausnahmsweises Eintreten auf die Beschwerde rechtfertigen würde.
2. Auf die Beschwerde ist somit nicht einzutreten. Bei diesem Ausgang des Verfahrens sind keine Kosten zu erheben (<ref-law>), und der Kanton St. Gallen hat den Beschwerdegegner für das bundesgerichtliche Verfahren eine angemessene Parteientschädigung zu bezahlen (Art. 68 Abs. 1 und 2 BGG)

Demnach erkennt das Bundesgericht:
1. Auf die Beschwerde wird nicht eingetreten.
2. Es werden keine Gerichtskosten erhoben.
3. Der Kanton St. Gallen hat dem Beschwerdegegner für das bundesgerichtliche Verfahren eine Parteientschädigung von Fr. 1'000.-- zu bezahlen.
4. Dieses Urteil wird den Parteien, dem Kreisgericht St. Gallen, Haftrichter, und der Anklagekammer des Kantons St. Gallen schriftlich mitgeteilt.
Lausanne, 22. Juli 2010
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Féraud Störi