Faits: Faits: A. Par jugement du 27 septembre 2006, le Tribunal de police du Tribunal d'arrondissement de La Broye et du Nord vaudois du canton de Vaud (ci-après: le Tribunal de police) a condamné A._ pour lésions corporelles simples qualifiées à la peine de sept jours d'emprisonnement avec sursis pendant deux ans et a mis les frais de la cause à la charge de ce dernier. Il lui était en substance reproché de s'être servi de sa ceinture pour frapper violemment sa fille sur le bras gauche et dans le dos. A._ serait intervenu lors d'une altercation, pour éloigner sa fille qui retenait son épouse plaquée contre un mur de la cuisine. Le Tribunal de police a décrit la fille de A._ comme une personne particulièrement vulnérable, en raison d'un handicap lourd qui la rendait totalement dépendante d'autrui et en particulier de ses parents. Il a dès lors considéré qu'en tant que détenteur de l'autorité parentale et de la garde sur une enfant civilement mineure et gravement handicapée, l'accusé assumait un devoir particulier de protection au sens des art. 301, 302 et 333 al. 1 CC. Une infraction à l'art. 123 ch. 2 al. 3 CP devait donc être retenue. Il lui était en substance reproché de s'être servi de sa ceinture pour frapper violemment sa fille sur le bras gauche et dans le dos. A._ serait intervenu lors d'une altercation, pour éloigner sa fille qui retenait son épouse plaquée contre un mur de la cuisine. Le Tribunal de police a décrit la fille de A._ comme une personne particulièrement vulnérable, en raison d'un handicap lourd qui la rendait totalement dépendante d'autrui et en particulier de ses parents. Il a dès lors considéré qu'en tant que détenteur de l'autorité parentale et de la garde sur une enfant civilement mineure et gravement handicapée, l'accusé assumait un devoir particulier de protection au sens des art. 301, 302 et 333 al. 1 CC. Une infraction à l'art. 123 ch. 2 al. 3 CP devait donc être retenue. B. A._ a formé un recours en réforme et en nullité contre ce prononcé. Par arrêt du 6 novembre 2006, la Cour de cassation pénale du Tribunal cantonal du canton de Vaud (ci-après: la Cour de cassation pénale) a admis le recours et libéré A._ de l'accusation de lésions corporelles simples qualifiées. Il a confirmé le jugement pour le surplus. Il a en effet estimé que dans la mesure où le comportement de A._ devait être qualifié de civilement répréhensible, il convenait de laisser les frais de la première instance à sa charge. Les frais de deuxième instance, y compris l'indemnité allouée au défenseur d'office de A._ par 800 fr., ont été mises à la charge de l'Etat. La Cour de cassation pénale a exposé qu'au vu du dossier, contrairement à ce qu'avait retenu le Tribunal de police, la fille de A._ ne souffrait que d'un handicap léger. Par ailleurs, elle a considéré que cette dernière ne se trouvait nullement dans une situation excluant toute défense sérieuse. Elle a dès lors jugé que les conditions d'application de l'art. 123 ch. 2 al. 3 CP n'étaient pas réalisées. En l'absence de plainte, A._ ne pouvait pas non plus être condamné pour lésions corporelles simples au sens de l'art. 123 al. 1 CP. La Cour de cassation pénale a exposé qu'au vu du dossier, contrairement à ce qu'avait retenu le Tribunal de police, la fille de A._ ne souffrait que d'un handicap léger. Par ailleurs, elle a considéré que cette dernière ne se trouvait nullement dans une situation excluant toute défense sérieuse. Elle a dès lors jugé que les conditions d'application de l'art. 123 ch. 2 al. 3 CP n'étaient pas réalisées. En l'absence de plainte, A._ ne pouvait pas non plus être condamné pour lésions corporelles simples au sens de l'art. 123 al. 1 CP. C. Agissant par la voie du recours de droit public, A._ demande au Tribunal fédéral de réformer le jugement en ce sens que les frais de la cause ne sont pas mis à sa charge, subsidiairement à ce que le jugement soit annulé en ce qui concerne le sort des frais de la procédure cantonale. Il se plaint d'une application arbitraire de l'art. 158 du Code de procédure pénale vaudois (CPP/VD) et subsidiairement, d'une violation de son droit d'être entendu. Il sollicite en outre l'assistance judiciaire. La Cour de cassation pénale se réfère aux considérants de son arrêt. Le Ministère public conclut au rejet du recours en se référant aux considérants de l'arrêt attaqué.