Faits:
A. X._ a été inculpé le 29 février 2008, par le Juge d'instruction de l'arrondissement de Lausanne, d'actes d'ordre sexuel commis en 2006 et 2007 sur des fillettes, A._ (la fille de sa concubine) et B._, alors âgées d'une dizaine d'années. Le même jour, il a été mis en détention préventive.
Le 7 mars 2008, le Juge d'instruction a refusé la mise en liberté du prévenu, en raison des besoins de l'enquête et pour des motifs d'ordre public. Cette décision a été confirmée le 27 mars 2008 par le Tribunal d'accusation du Tribunal cantonal vaudois.
Le 31 mars 2008, le Juge d'instruction a remis en liberté X._, avec l'interdiction d'essayer d'entrer en contact directement ou indirectement, y compris par correspondance, avec les victimes. Par arrêt du 22 avril 2008, le Tribunal d'accusation a rejeté le recours formé par le Ministère public, considérant qu'après l'audition de toutes les personnes impliquées et les opérations d'enquête effectuées au domicile et sur le bateau de l'inculpé, le risque de collusion n'était plus suffisant. A._ et sa mère avaient quitté la maison de l'inculpé pour aller vivre auprès du père biologique de la fillette. Le Service de protection de la jeunesse (SPJ) allait s'assurer que A._ demeure chez son père et que sa mère se montre "suffisamment protectrice". Les parents des autres victimes avaient été informés. Ces mesures paraissaient suffisantes pour éviter toute récidive.
B. Le 6 mars 2009, le Juge d'instruction a remis X._ en détention préventive après avoir appris que celui-ci avait passé une semaine de vacances en Tunisie avec A._ et sa mère, au mois d'août 2008, et qu'il les avait invitées à manger au restaurant à Verbier au mois de décembre 2008. Par décision du 16 mars 2009, le Juge d'instruction a rejeté une demande de mise en liberté. Le prévenu n'avait pas pu maintenir la distance exigée vis-à-vis de l'enfant, et l'on pouvait craindre qu'il ne puisse dominer ses pulsions. Il existait en outre un risque de collusion.
Par arrêt du 3 avril 2009, le Tribunal d'accusation a confirmé cette décision. Les manquements de l'inculpé révélaient qu'il lui était difficile, sinon impossible de respecter ses engagements. La situation de la victime s'en trouvait aggravée. Il y avait donc un risque de récidive. Les nécessités de l'instruction commandaient également le maintien de la détention: une expertise était encore en cours sur les atteintes sexuelles qu'aurait subies l'une des victimes.
C. X._ forme un recours en matière pénale. Il conclut à la réforme de l'arrêt cantonal et à sa mise en liberté immédiate, éventuellement assortie de conditions, subsidiairement au renvoi de la cause à la cour cantonale pour nouvelle décision dans le sens des considérants.
Le Tribunal d'accusation se réfère aux considérants de son arrêt. Le Ministère public conclut au rejet du recours. Le recourant a renoncé à déposer des observations complémentaires.

Considérant en droit:
1. L'arrêt relatif au maintien en détention est une décision en matière pénale au sens de l'<ref-law>. Rendu en dernière instance cantonale (<ref-law>), il peut faire l'objet d'un recours en matière pénale. Le recourant a qualité pour recourir au sens de l'<ref-law>; il a agi dans le délai de trente jours (<ref-law>).
2. Une mesure de détention préventive n'est compatible avec la liberté personnelle, garantie par l'art. 10 al. 2 Cst. et par l'art. 5 CEDH, que si elle repose sur une base légale (art. 31 al. 1 et art. 36 al. 1 Cst.), soit en l'espèce l'art. 59 du code de procédure pénale vaudois (CPP/VD). Elle doit en outre correspondre à un intérêt public et respecter le principe de la proportionnalité (art. 36 al. 2 et 3 Cst.; <ref-ruling> consid. 2c p. 270). Pour que tel soit le cas, la privation de liberté doit être justifiée par les besoins de l'instruction, un risque de fuite ou un danger de collusion ou de réitération (cf. art. 59 ch. 1, 2 et 3 CPP/VD).
S'agissant d'une restriction grave à la liberté personnelle, le Tribunal fédéral examine librement ces questions, sous réserve toutefois de l'appréciation des preuves, revue sous l'angle restreint de l'arbitraire (<ref-ruling> consid. 2d p. 271). L'autorité cantonale dispose ainsi d'une grande liberté dans l'appréciation des faits (<ref-ruling> consid. 3, 112 Ia 162 consid. 3b).
3. Le recourant conteste l'existence d'un risque de réitération. Il aurait cessé spontanément ses agissements en 2007, avant l'ouverture de la procédure pénale, et il suit volontairement une thérapie depuis le mois de mars 2008; depuis sa mise en liberté, il n'aurait commis aucune infraction. Les deux rencontres, dont l'une serait fortuite, avaient eu lieu en présence de la mère. Le recourant conteste également la légalité de sa détention: une violation d'une règle de conduite ne constituerait pas un motif légal de mise en détention.
3.1 Selon la jurisprudence, le maintien en détention préventive n'est admissible que si le pronostic de récidive est très défavorable et si les délits à craindre sont de nature grave. La simple possibilité, hypothétique, de commission de nouvelles infractions de même nature, ou la vraisemblance que soient commises des infractions mineures, sont des motifs insuffisants (<ref-ruling> consid. 3a p. 62). La jurisprudence se montre moins sévère dans l'exigence de vraisemblance lorsqu'il s'agit de délits de violence graves, car le risque à faire courir aux victimes potentielles est alors considéré comme trop important (<ref-ruling> consid. 2e p. 271). Autant que possible, l'autorité doit tenter de substituer à la détention toute autre mesure moins incisive propre à atteindre le même résultat (<ref-ruling> consid. 2c et e p. 270/271 et les arrêts cités).
3.2 Contrairement à ce que prétend le recourant, son incarcération repose sur une base légale suffisante. Lorsqu'existe un motif de détention au sens de l'<ref-law>/VD, l'autorité peut, conformément au principe de la proportionnalité, ordonner une mise en liberté moyennant certaines conditions propres à pallier le risque de fuite, de collusion ou de réitération (<ref-ruling> consid. 2c p. 271). Une réincarcération peut dès lors être ordonnée si le prévenu ne respecte pas les règles de conduite qui lui sont imposées. Il ne s'agit pas de sanctionner cette violation, mais d'en tenir compte comme un fait nouveau susceptible de conduire à une nouvelle appréciation des risques de fuite, de réitération ou de collusion (cf. MURBACH/BOCQUET, Procédure pénale genevoise, Chambre d'accusation, la détention provisoire au regard de la jurisprudence actuelle et du futur Code de procédure pénale suisse, SJ 2009 II p. 1 ss, 42-43).
3.3 En l'occurrence, le recourant a violé à deux reprises l'obligation qui lui était faite de s'abstenir de tout contact, direct ou indirect, avec la victime. Il s'est rendu en vacances à l'étranger avec celle-ci, accompagné de sa mère. Cela constitue une violation particulièrement grave des obligations qui lui étaient faites puisque les agissements du recourant échappaient ainsi à tout contrôle de l'autorité. Le recourant devait tout aussi clairement s'abstenir, lors de la rencontre de décembre 2008 à Verbier, d'inviter A._ et sa mère au restaurant. Le Juge d'instruction était légitimé à penser, sur le vu de ces faits, que le recourant ne parvenait pas à maîtriser ses pulsions, ce qui impliquait un risque de récidive évident.
3.4 Il en va de même du risque de collusion. Compte tenu de la relation ambiguë que le recourant paraît avoir gardée avec la mère de la victime, et de son ascendant sur cette dernière, on ne saurait écarter la possibilité qu'il tente d'influencer la victime et de la faire revenir sur tout ou partie de ses déclarations.
4. Le recourant invoque également à tort le principe de la proportionnalité. Les deux mois de détention déjà subie sont manifestement compatibles avec la durée de la peine privative de liberté qui pourrait être prononcée. Les impératifs liés à la protection de la victime et à la bonne fin de l'instruction doivent prévaloir sur les préoccupations d'ordre professionnel du recourant.
5. Le recours doit par conséquent être rejeté. Conformément à l'<ref-law>, les frais judiciaires sont à la charge du recourant.

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, arrêtés à 1000 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué aux parties et au Tribunal d'accusation du Tribunal cantonal du canton de Vaud.
Lausanne, le 29 mai 2009
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président: Le Greffier:
Féraud Kurz