Faits: A. Par ordonnance pénale du 24 juin 2011, le Préfet du district de la Riviera - Pays d'Enhaut a condamné X._, pour violation simple des règles de la circulation, à une amende de 550 fr., la peine privative de liberté de substitution étant fixée à 6 jours. Statuant par ordonnance du 7 octobre 2011 sur l'opposition de X._, le Préfet a ordonné le classement de la procédure pénale et a alloué à celui-ci une indemnité de 600 fr. pour ses frais de défense (art. 429 al. 1 let. a CPP). B. Par arrêt du 5 décembre 2011, la Juge de la Chambre des recours pénale du Tribunal cantonal vaudois a admis le recours de X._ et a réformé l'ordonnance du 7 octobre 2011 en ce sens qu'une indemnité de 1'000 fr. (art. 429 al. 1 let. a CPP) est allouée à celui-ci. C. Le Ministère public central du canton de Vaud forme un recours en matière pénale contre cet arrêt, concluant, sous suite de frais, principalement à son annulation et au renvoi de la cause en instance cantonale, subsidiairement à sa réforme en ce sens que le recours contre l'ordonnance du 7 octobre 2011 est rejeté. X._ conclut, sous suite de dépens, à l'irrecevabilité, subsidiairement au rejet du recours. La Juge de la Chambre des recours pénale a renoncé à se déterminer et s'est référée à l'arrêt attaqué.