Faits :
A.
Le 11 mars 2016, X._ a déposé plainte pénale contre le brigadier A._ et l'agent B._, membres de la police municipale de Lausanne, pour abus d'autorité, agression verbale, lésions corporelles et faux témoignage notamment. Après un accident de la circulation survenu le 15 décembre 2015 et impliquant ses deux filles C._ et D._, le plaignant était arrivé sur les lieux. A._ l'ayant empêché d'approcher alors que l'une de ses filles (C._) avait été placée sur une civière par les ambulanciers, il avait repoussé le policier. S'en était suivi une altercation au cours de laquelle le policier, selon la version du plaignant, l'avait frappé au visage puis mis à terre et menotté avec l'aide de l'agent B._ en continuant de le frapper. Le policier aurait aussi faussement déclaré que le plaignant avait tenté de s'emparer d'un couteau suisse qui se trouvait dans sa poche - alors qu'il essayait en réalité de saisir sa clé de voiture -, que sa voiture était mal garée et qu'il l'avait insulté. Amené au poste de police, le plaignant avait été contraint de se dénuder et soumis à une fouille, puis avait été détenu durant 17 heures dans une cellule fortement éclairée et bruyante, ne recevant aucune nourriture ni ses médicaments. Le plaignant dénonçait en outre un délit de faciès, une violation de sa sphère privée (fouille de son véhicule et relevé de ses cartes de crédit). Il demandait l'audition de ses deux filles, de l'ami de l'une d'elles et de sa propre épouse.
Se prévalant d'une version des faits toute différente, A._ avait déposé plainte contre X._ pour violence ou menace contre les autorités ou les fonctionnaires, empêchement d'accomplir un acte officiel, injures et voies de fait.
B.
Par ordonnance du 11 octobre 2016, le Ministère public de l'arrondissement du Nord vaudois a refusé d'entrer en matière sur la plainte de X._. Divers reproches formulés par ce dernier (fausses informations, railleries, manque de discernement) n'avaient pas de caractère pénal. Il n'y avait pas d'abus d'autorité dans le fait d'empêcher temporairement le plaignant d'approcher alors que sa fille était prise en charge par les secours. La voiture avait pu être déplacée afin de ne pas gêner le trafic, mais il n'y avait pas d'indice de fouille du véhicule. Rien ne permettait d'établir une agression verbale de la part des policiers, des lésions corporelles ou un acte à caractère raciste. La détention, ordonnée par le Ministère public, avait été exécutée selon le protocole applicable. Il n'y avait pas non plus de faux témoignage ou de mensonges puisque le plaignant possédait bien un couteau suisse dans ses poches.
Le 21 octobre 2016, le Ministère public a par ailleurs rendu une ordonnance pénale condamnant X._ à 60 jours amende à 90 fr. avec sursis pendant deux ans et à 1'300 fr. d'amende pour injure, violence ou menace contre les autorités et les fonctionnaires, contravention à la LCR et au règlement communal de police.
C.
Par arrêt du 22 décembre 2016, la Chambre des recours pénale du Tribunal cantonal du canton de Vaud a rejeté le recours formé par X._ contre l'ordonnance de non-entrée en matière. Le recourant demandait l'audition de ses deux filles et de son épouse. Selon les témoignages recueillis (une policière, un ambulancier et l'ami d'une des filles du recourant), il n'y avait pas eu d'usage disproportionné de la force. S'agissant de l'épisode des clés, il était établi que le recourant avait tenté, alors qu'il était maintenu au sol, de sortir quelque chose de sa poche et qu'il s'y trouvait un couteau suisse. L'agent de police en avait déduit que le recourant tentait de se saisir d'une arme et cette impression ne pouvait être ni confirmée ni infirmée par des témoignages supplémentaires. Trois témoins avaient confirmé que le recourant s'était montré agressif, sans pouvoir préciser la teneur des insultes. Le témoignage d'une des filles du recourant n'apporterait rien de déterminant sur ce point également, le recourant ayant lui-même admis avoir insulté le policier. L'ambulancier n'avait pas pu voir l'altercation et il devait en aller de même pour la fille du recourant qui se trouvait sur le brancard. Quant à l'épouse du recourant, elle ne pouvait témoigner sur les faits survenus lors de la détention; le recourant avait été examiné par un médecin et n'avait pas souffert de n'avoir pas pu prendre ses médicaments. La Chambre des recours pénale a enfin considéré que les déclarations du brigadier (quant à la tentative du recourant de se saisir d'un couteau et au véhicule mal stationné) ne pouvaient être considérées comme mensongères.
D.
Par acte du 31 janvier 2017, X._ forme un recours en matière pénale par lequel il demande au Tribunal fédéral de réformer l'arrêt cantonal en ce sens que l'ordonnance de non-entrée en matière est elle-même réformée, le Ministère public étant sommé de procéder aux auditions requises et de rendre une nouvelle décision.
Il n'a pas été demandé de réponse. La cour cantonale a produit le dossier de la cause.

Considérant en droit :
1.
L'arrêt attaqué a été rendu dans le cadre d'une procédure pénale, de sorte que le recours en matière pénale au sens de l'<ref-law> est ouvert.
1.1. S'agissant de la confirmation d'une décision de non-entrée en matière, l'arrêt attaqué a un caractère final (<ref-law>) et émane de l'autorité cantonale de dernière instance (<ref-law>). Le recourant a agi en temps utile (<ref-law>).
1.2. Selon l'art. 81 al. 1 let. a et b ch. 5 LTF, la partie plaignante est habilitée à recourir au Tribunal fédéral si la décision attaquée peut avoir des effets sur le jugement de ses prétentions civiles. Constituent de telles prétentions celles qui sont fondées sur le droit civil, telles les prétentions en réparation du dommage et du tort moral au sens des <ref-law>. Lorsque, comme en l'espèce, le recours est dirigé contre une décision de non-entrée en matière, la partie plaignante doit expliquer dans son mémoire quelles prétentions civiles elle entend faire valoir - à moins que cela n'apparaisse évident - et en quoi la décision attaquée pourrait influencer négativement leur jugement (<ref-ruling> consid. 1.1 p. 4).
1.2.1. En l'espèce, les actes dénoncés ont été commis par des policiers, soit des agents de l'Etat. Or le droit cantonal instaure, comme le permet l'<ref-law>, une responsabilité exclusive de la collectivité publique en cas d'acte illicite de ses agents. Le plaignant ne dispose donc que d'une prétention de droit public à faire valoir non pas contre l'auteur présumé, mais contre l'Etat. Selon la jurisprudence constante, une telle prétention ne peut être invoquée dans le procès pénal par voie d'adhésion et ne constitue dès lors pas une prétention civile au sens des dispositions précitées (<ref-ruling> consid. 3.1 p. 88; <ref-ruling> consid. 2.3.3 p. 234; <ref-ruling> consid. 2).
1.2.2. La jurisprudence reconnaît toutefois aux personnes qui se prétendent victimes de traitements cruels, inhumains ou dégradant (au sens notamment de l'art. 3 CEDH) le droit de porter plainte et d'obtenir une enquête prompte et impartiale devant aboutir, s'il y a lieu, à la condamnation pénale des responsables. La victime de tels traitements peut également bénéficier d'un droit de recours contre l'abandon des poursuites (<ref-ruling> consid. 3.1 p. 88). Un mauvais traitement doit en principe être intentionnel et atteindre un minimum de gravité. L'appréciation de ce minimum dépend de l'ensemble des données de la cause, notamment de la durée du traitement et de ses effets physiques ou mentaux, ainsi que, parfois, du sexe, de l'âge et de l'état de santé de la victime. Un traitement atteint le seuil requis et doit être qualifié de dégradant s'il est de nature à créer des sentiments de peur, d'angoisse et d'infériorité propres à humilier ou à avilir la victime, de façon à briser sa résistance physique ou morale ou à la conduire à agir contre sa volonté ou sa conscience. Il y a également traitement dégradant, au sens large, si l'humiliation ou l'avilissement a pour but, non d'amener la victime à agir d'une certaine manière, mais de la punir (arrêt 6B_474/2013 du 23 août 2013 consid. 1.4 et les références citées).
1.2.3. En l'occurrence, le recourant ne fait nullement valoir qu'il aurait été victime d'un traitement prohibé au sens défini ci-dessus. N'invoquant pas la moindre disposition légale, constitutionnelle ou conventionnelle, il se contente de prétendre, de manière appellatoire, qu'il aurait été victime d'un abus d'autorité. Selon sa version des faits, il aurait été empêché d'approcher de sa fille alors que celle-ci était prise en charge par les ambulanciers. Tentant de forcer le passage, il aurait été mis au sol. Il a ensuite été détenu durant la nuit jusqu'à son audition le lendemain par le Ministère public. Le recourant ne prétend pas en particulier avoir été blessé d'une quelconque manière par l'intervention des policiers, ni mis en danger par le refus prétendu de lui remettre ses médicaments lors de sa détention. Il ne fait valoir aucune circonstance permettant de retenir que cette détention (précédée d'une fouille réglementaire) pourrait constituer un traitement prohibé. Dans ces circonstances, faute d'indications plus concrètes qu'il appartenait au recourant d'apporter, la recevabilité du recours apparaît pour le moins douteuse.
La question peut toutefois demeurer indécise car, supposé recevable, le recours devrait être rejeté sur le fond.
2.
Le recourant soutient que l'autorité pénale aurait dû interroger ses deux filles ainsi que sa femme. Sa fille D._ aurait pu témoigner de la "violence gratuite" dont il aurait fait l'objet. Elle aurait aussi pu confirmer que sa voiture n'était pas mal garée et que le recourant n'avait pas tenté de s'emparer d'un couteau. Sa fille C._ pouvait attester que les policiers l'avaient empêché de lui prêter assistance après l'accident. Son épouse aurait pu témoigner des mauvais traitements subis lors de sa détention, soit l'obligation de se dénuder et de subir une fouille, l'absence de nourriture durant 17 heures, le séjour dans une cellule bruyante et fortement éclairée ainsi que le refus de lui transmettre ses médicaments.
2.1. Le droit à une enquête officielle approfondie impose aux autorités de prendre toutes les mesures raisonnables possibles pour obtenir les preuves relatives aux faits en question, en particulier l'audition des personnes impliquées et les dépositions des témoins oculaires. Dans ce contexte les autorités doivent faire preuve de célérité et de diligence (arrêt 1B_147/2016 du 12 octobre 2016 consid. 2.1 et la jurisprudence citée). En procédure pénale, les art. 139 al. 2 et 318 al. 2 CPP permettent au ministère public d'écarter une réquisition de preuves lorsque celle-ci porte sur des faits non pertinents, notoires, connus de l'autorité pénale ou déjà suffisamment prouvés. Le législateur a ainsi consacré le droit des autorités pénales de procéder à une appréciation anticipée des preuves. Le magistrat peut ainsi renoncer à l'administration de certaines preuves, notamment lorsque les faits dont les parties veulent rapporter l'authenticité ne sont pas importants pour la solution du litige. Ce refus d'instruire ne viole le droit d'être entendu que si l'appréciation anticipée de la pertinence du moyen de preuve offert, à laquelle le juge a ainsi procédé, est entachée d'arbitraire (<ref-ruling> consid. 5.3 p. 236).
2.2. Le lendemain des faits, le recourant a été entendu par le Ministère public et a pu donner sa version des évènements. Le 3 mars 2016, le Ministère public a procédé à l'audition de B._ (en tant que personne appelée à donner des renseignements) et de l'ami de la fille cadette du recourant. Ce dernier, affirmant très bien se souvenir des faits, a décrit la manière dont le recourant a été mis au sol après avoir tenté d'approcher. Il précisait n'avoir pas vu de coups donnés par la police, même si le maintien au sol avait pu être perçu comme tel, les policiers ayant plusieurs fois raffermi leur prise. Le Ministère public a encore entendu, le 23 mai 2016, une policière ayant participé à l'immobilisation du recourant ainsi qu'un ambulancier. Tous ces témoignages concordent quant au fait que les policiers n'ont pas frappé le recourant. Il n'est pas contesté que le recourant a porté la main à sa poche alors qu'il était au sol. Le policier affirme avoir eu l'impression qu'il tentait de se saisir d'un couteau suisse et il est établi que le recourant possédait effectivement un tel couteau dans une de ses poches. L'ordonnance pénale rendue le 21 octobre 2016 retient certes, conformément à la version du recourant, que celui-ci cherchait en réalité ses clés. Toutefois, si le policier a eu l'impression que le recourant tentait de se saisir de son couteau, on ne voit pas en quoi un témoignage extérieur tel que celui de sa fille D._ pourrait remettre en cause la réalité de cette appréciation. Quant au fait que le véhicule du recourant était mal stationné, il ressort de l'ensemble des déclarations recueillies, y compris celles du recourant qui a admis s'être arrêté sur les cases réservées aux motos.
L'audition de sa fille C._ était, selon le recourant, propre à confirmer que les policiers l'auraient empêché de lui porter assistance après l'accident. Il n'est pas contesté que l'intention des policiers était bien d'empêcher le recourant d'approcher dans un premier temps. Selon les déclarations de l'ambulancier, C._ se trouvait sur le brancard au moment de l'altercation et était entourée de policiers et d'ambulanciers. Elle ne pouvait donc donner de détails sur le déroulement des faits. Le recourant ne démontre nullement en quoi cette appréciation anticipée serait arbitraire.
On ne voit pas non plus en quoi l'audition de l'épouse du recourant aurait pu confirmer les affirmations de celui-ci quant au fait qu'il a dû se dénuder et subir une fouille, et aurait passé la nuit dans une cellule inconfortable sans recevoir de nourriture, dès lors qu'elle n'a assisté à aucun de ces faits. Le rapport de police du 6 janvier 2016 fait état de la visite au poste de la femme du recourant. Outre ses accusations d'incompétence à l'égard de la police et sa demande de contacter l'avocat de son mari, il n'est pas fait état d'une remise de médicaments. Le recourant a reçu la visite d'un médecin qui a notamment relevé son taux de sucre, et le recourant ne prétend nullement que le fait de ne pas avoir pu prendre ses médicaments durant sa détention aurait pu mettre sa santé en danger. Quant au refus de rendre les clés de la voiture, il est contredit par le rapport de police et le témoignage de l'ami de la fille du recourant, que l'on ne saurait soupçonner de complaisance à l'égard de la police.
2.3. Il apparaît en définitive que les faits ont été suffisamment élucidés par le Ministère public et que les témoignages des membres de la famille du recourant ont été écartés à juste titre. Le recourant ne proposant aucun autre moyen de preuve (autres témoignages, certificat médical) susceptible d'asseoir ses accusations, une procédure pénale aurait nécessairement conduit à une libération de l'accusation d'abus de pouvoir.
3.
Sur le vu de ce qui précède, le recours doit être rejeté, dans la mesure où il est recevable. Conformément à l'<ref-law>, les frais judiciaires sont mis à la charge du recourant qui succombe.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté, dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton de Vaud, Chambre des recours pénale.
Lausanne, le 24 mars 2017
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
Le Greffier : Kurz