Faits:
A. Le 30 juin 2007, X._, originaire de la République dominicaine, a déposé plainte pénale, suite à son interpellation le 27 juin précédent vers 17 heures 30 à Yverdon, par trois policiers en civil, lors de laquelle il avait été plaqué au sol, menotté, conduit au centre d'intervention et soumis à une fouille complète. Il exposait avoir été traité de manière humiliante et dégradante et ne pouvoir s'expliquer l'intervention et la brutalité dont il avait fait l'objet qu'en raison de la couleur de sa peau.
Suite à cette plainte, une instruction a été ouverte, notamment pour discrimination raciale, par le Juge d'instruction de l'arrondissement du Nord vaudois.
B. Par ordonnance du 18 novembre 2008, le Juge d'instruction a prononcé un non-lieu, estimant que le comportement des policiers était licite au sens de l'<ref-law>.
Saisi d'un recours de X._, le Tribunal d'accusation du Tribunal cantonal vaudois l'a rejeté par arrêt du 6 février 2009, confirmant le non-lieu. En bref, il a considéré que l'interpellation du recourant était intervenue dans le cadre d'une vaste opération mise en oeuvre par la police cantonale afin d'appréhender des trafiquants de cocaïne, que les faits dénoncés n'étaient pas constitutifs d'une infraction, que le recourant avait certes fait l'objet d'une méprise, mais que le principe de la proportionnalité avait été respecté.
C. X._ forme un recours en matière pénale au Tribunal fédéral, pour violation de l'art. 3, combiné avec l'art. 1, CEDH. Il conclut à l'annulation de l'arrêt attaqué et au renvoi de la cause à l'autorité cantonale pour nouvelle décision, en ce sens que l'instruction soit complétée conformément aux dispositions de droit conventionnel qu'il invoque. Il sollicite l'assistance judiciaire.
Le Ministère public et l'autorité cantonale ont renoncé à formuler des observations.

Considérant en droit:
1. Le recourant reproche à l'autorité cantonale d'avoir mis un terme à la procédure par un non-lieu sans qu'il ait été procédé à une enquête officielle approfondie et effective quant aux allégations de traitements prohibés par l'art. 3 CEDH dont il aurait fait l'objet de la part des policiers.
1.1 En vertu de l'art. 3 CEDH, nul ne peut être soumis à la torture ni à des peines ou traitements inhumains ou dégradants.
Selon la jurisprudence, cette disposition, combinée avec l'art. 1 ou avec l'art. 13 CEDH, confère à tout individu prétendant de manière défendable avoir été traité par la police de façon inhumaine ou dégradante un droit à une enquête officielle approfondie et effective, qui doit permettre d'élucider les circonstances ainsi que d'identifier et de sanctionner les responsables (<ref-ruling> consid. 1.2.5 p. 462 et les références citées).
L'allégation d'un traitement prohibé par l'art. 3 CEDH est défendable lorsqu'elle ne se révèle pas d'emblée dépourvue de crédibilité (cf. arrêt 6B_692/2008 consid. 1.3).
Pour constituer un acte prohibé par l'art. 3 CEDH, un mauvais traitement doit atteindre un minimum de gravité. L'appréciation de ce minimum dépend de l'ensemble des données de la cause, notamment de la durée du traitement infligé, de ses effets physiques ou mentaux, éventuellement du sexe, de l'âge et de l'état de santé de la victime (<ref-ruling> consid. 3.2.1 p. 226). Lorsqu'un individu se trouve privé de sa liberté, l'utilisation à son égard de la force physique alors qu'elle n'est pas rendue strictement nécessaire par son comportement porte atteinte à la dignité humaine et constitue, en principe, une violation du droit fondamental garanti par l'art. 3 CEDH (cf. arrêt de la Cour européenne des droits de l'homme du 1er juillet 2004 dans la cause Rivas contre France, § 37, et les arrêts cités).
Le droit à une enquête officielle approfondie et effective fonde une obligation de moyens, non de résultat. Il impose aux autorités de prendre toutes les mesures raisonnables possibles pour obtenir les preuves relatives aux faits en question, telles que l'audition des personnes impliquées, les dépositions des témoins oculaires, les expertises, les certificats médicaux, etc. Toute défaillance dans les investigations qui compromet la capacité des autorités à établir les faits ou les responsabilités peut être constitutive d'une violation de l'art. 3 CEDH. Par ailleurs, les autorités doivent agir avec célérité et diligence (cf. arrêt 6B_110/2008 consid. 3.2 et 6P.122/2006 consid. 4.8).
1.2 Le droit à une enquête officielle approfondie et effective est de nature procédurale. En tant que lésé, le recourant est dès lors habilité à recourir pour se plaindre de sa violation (cf. arrêts 6B_110/2008 consid. 1.3, 6B_537/2008 consid. 1 et 6B_319/2007 consid. 2).
1.3 En l'espèce, le recourant, comme cela ressort notamment de sa plainte, alléguait que le jour en question, alors qu'il allait retrouver son épouse à son travail, avait été violemment saisi par trois policiers en civil, qui l'avaient plaqué au sol et l'avaient menotté dans le dos, sans chercher à l'identifier. Il leur avait demandé à plusieurs reprises le motif de cette intervention brutale, à quoi il lui avait été répondu de se taire, qu'il s'agissait d'une journée où ils embarquaient tout ce qui était "noir" et qu'il se trouvait au mauvais endroit au mauvais moment. Il s'était retrouvé assis dans une voiture banalisée. A ce moment-là, il avait demandé de pouvoir avertir son épouse, car elle l'attendait à son travail, mais avait essuyé un refus. Il n'avait pas été conduit au poste de police d'Yverdon, ce qui l'avait surpris et inquiété, mais à Lausanne. Sur place, il avait dû se déshabiller, écarter les fesses et subir une fouille complète, ce qui l'avait profondément humilié, d'autant plus qu'il ne savait pas pourquoi. Comme les policiers n'avaient rien à lui reprocher, l'un d'eux avait dit qu'il n'y avait aucune raison de le garder, mais un autre avait objecté qu'il voulait aller jusqu'au bout. Il avait alors été photographié et on lui avait pris ses empreintes digitales. Après quoi, il était resté parterre, toujours menotté, en attendant que les policiers finissent avec les autres "Noirs". Trois heures après son interpellation, vers 20 heures 30, il avait finalement été ramené chez lui par les policiers, dont l'un lui avait dit qu'il aurait au moins quelque chose à raconter à son épouse. Ces événements, qu'il ne s'expliquait que par la couleur de sa peau, l'avaient humilié et perturbé psychologiquement. Depuis lors, il avait des problèmes de sommeil, avait perdu confiance et ne se sentait plus en sécurité.
S'ils devaient être établis, ces faits, allégués de manière défendable, seraient suffisamment graves pour être constitutifs d'un traitement dégradant au sens de l'art. 3 CEDH, ce qui est notamment le cas, selon la jurisprudence européenne, lorsque le traitement infligé est de nature à inspirer à la victime des sentiments de peur, d'angoisse et d'infériorité, propres à l'humilier et à l'avilir (cf. arrêt de la Cour européenne des droits de l'homme du 12 juin 2007, dans la cause Frerot contre France, § 35 et les arrêts cités). Les autorités compétentes étaient dès lors tenues, en vertu de l'art. 3, combiné avec l'art. 1 ou l'art. 13, CEDH, de procéder à une enquête officielle approfondie et effective.
1.4 Il doit être rappelé préliminairement que, lorsqu'une personne allègue de manière défendable avoir fait l'objet d'un traitement prohibé par l'art. 3 CEDH, l'autorité doit, avec célérité et diligence, faire procéder d'office à l'enquête approfondie et effective exigée par la jurisprudence relative à cette disposition.
1.4.1 En l'espèce, il ressort des pièces du dossier que le juge d'instruction, saisi de la plainte du recourant, a requis de la police qu'elle établisse un rapport, qui lui a été remis le 24 juillet 2007. Relancé par le recourant le 17 août 2007, il lui a fait savoir qu'il avait prévu une rencontre avec le chef de la brigade des stupéfiants, laquelle a eu lieu le 1er octobre 2007. A cette occasion, le recourant, selon un courrier qu'il a adressé au juge d'instruction le 23 novembre 2007, a été invité par ce dernier à choisir entre un long procès et un règlement à l'amiable. Des négociations se sont alors engagées entre la police et le recourant, qui n'ont pas abouti, faute d'accord quant au montant d'un dédommagement.
Cet échec a conduit le recourant à consulter un avocat, qui, par lettre du 19 mai 2008, a requis le juge d'instruction de procéder à des actes d'enquête, notamment à l'audition des auteurs de l'interpellation ainsi qu'à la production par la police de la liste des personnes appréhendées lors de l'opération du 27 juin 2007 et des rapports de police y relatifs. Par ordonnance du 19 juin 2008, le juge d'instruction, dont rien n'indique qu'il ait réagi à ce courrier, a prononcé un refus de suivre, en se fondant uniquement sur un rapport établi le 30 juin 2007 par le commissaire-adjoint. Le recourant a attaqué cette décision par un recours auprès du Tribunal d'accusation, qui, par arrêt du 18 juillet 2008, l'a annulée, pour des motifs d'ordre procédural, et a renvoyé la cause au magistrat instructeur afin qu'il rende une nouvelle décision de clôture d'enquête.
Suite à cet arrêt, le recourant, par lettre du 9 septembre 2008, a sollicité derechef du juge d'instruction qu'il procède à des mesures d'instruction, qu'il détaillait dans ce courrier, en annexe duquel il produisait un rapport attestant des conséquences psychologiques de l'interpellation. Sans donner suite à cette démarche, le juge d'instruction, par ordonnance du 18 novembre 2008, a mis un terme à l'enquête par un non-lieu, sur la base d'une motivation en tous points identique à celle de son refus de suivre du 18 juillet 2008.
Dans le recours qu'il a formé contre cette décision, le recourant, se plaignant de l'absence d'investigations, a conclu à ce que le dossier soit retourné au magistrat instructeur pour complément d'enquête. Amené à se déterminer, le Ministère public, estimant lui aussi que des investigations s'imposaient, a conclu à l'admission du recours. Le Tribunal d'accusation a néanmoins confirmé le non-lieu, en se fondant, comme le magistrat instructeur, sur le seul rapport du commissaire-adjoint, sans justifier son refus de faire procéder à des investigations, ni même répondre aux arguments, convergents, du recourant et du Ministère public.
1.4.2 Sur le vu de ce qui précède, force est de constater qu'il n'a été procédé à aucune enquête officielle approfondie et effective, telle qu'exigée par la jurisprudence. Le juge d'instruction s'est en définitive borné à recueillir l'avis de la police. Non seulement il n'a entrepris aucune investigation en vue d'élucider les allégations du recourant, mais n'a pas donné suite aux requêtes formulées en ce sens par ce dernier. Il a clos l'enquête par un non-lieu en se fondant uniquement sur un rapport établi par la police le 30 juin 2007. Le Tribunal d'accusation n'a pas procédé différemment, déduisant du seul et même rapport que les faits dénoncés n'étaient pas constitutifs d'une infraction pénale et que les policiers avaient agi licitement, sans même justifier l'absence d'autres investigations, pourtant dénoncée devant lui tant par le Ministère public que par le recourant. Le grief de violation de l'art. 3, en relation avec l'art. 1 ou l'art. 13, CEDH est donc fondé.
2. Le recours doit ainsi être admis, l'arrêt attaqué annulé et la cause renvoyée à l'autorité cantonale pour qu'elle statue à nouveau, après avoir fait procéder à un complément d'instruction conforme aux exigences de l'art. 3 CEDH.
Le canton de Vaud sera dispensé des frais (<ref-law>). Il versera en revanche au recourant une indemnité de dépens pour la procédure devant le Tribunal fédéral (<ref-law>). La requête d'assistance judiciaire devient ainsi sans objet.

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est admis, l'arrêt attaqué annulé et la cause renvoyée à l'autorité cantonale pour nouvelle décision.
2. Il n'est pas perçu de frais.
3. Une indemnité de dépens de 3000 fr. est allouée au recourant, à la charge du canton de Vaud.
4. Le présent arrêt est communiqué aux parties et au Tribunal d'accusation du Tribunal cantonal du canton de Vaud.
Lausanne, le 13 juillet 2009
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président: La Greffière:
Favre Angéloz