Faits: A. Par jugement du 19 juillet 2010, le Tribunal correctionnel de l'arrondissement de Lausanne a condamné X._ pour faux dans les titres et contrainte à une peine privative de liberté de douze mois, peine complémentaire à celles prononcées les 7 septembre 2007 et 19 février 2010, avec sursis et délai d'épreuve de trois ans. Par arrêt du 6 décembre 2010, la Cour de cassation pénale du Tribunal cantonal vaudois a rejeté le recours de X._. Par arrêt 6B_382/2011 du 26 septembre 2011, le Tribunal fédéral a admis le recours en matière pénale de X._ et annulé l'arrêt du 6 décembre 2010, en ce qu'il condamnait ce dernier pour faux dans les titres. Il a renvoyé la cause à la Cour de cassation pénale pour nouvelle décision au sens des considérants, en particulier pour que la peine soit à nouveau fixée. B. Par arrêt du 21 novembre 2011, la Cour de cassation pénale a réformé le jugement du 19 juillet 2010 en ce sens que X._ était libéré du chef d'accusation de faux dans les titres, sa peine ramenée à 210 jours-amende, à 50 fr. le jour, avec sursis pendant trois ans, et les frais de première instance mis à sa charge étaient réduits. Les frais de deuxième instance, dont 388 fr. 80 à titre d'indemnité allouée à son défenseur d'office, ont en revanche été laissés à la charge de l'Etat. C. X._ forme un recours en matière pénale auprès du Tribunal fédéral. Il conclut, sous suite de frais et dépens, à l'annulation de l'arrêt du 21 novembre 2011 et au renvoi de la cause à la Cour de cassation pour nouvelle décision au sens des considérants. Cette autorité s'est référée à son arrêt. Le Ministère public a renoncé à se déterminer.