Faits : Faits : A. A.a La Caisse de retraite des entreprises X._, devenue entre-temps la Caisse de pensions X._, et Y._ ont, le 24 janvier 1974, conclu un contrat de bail à loyer portant sur un appartement de quatre pièces et demie, à V._. Le loyer initial mensuel s'élevait à 404 fr., y compris le chauffage, l'eau chaude et l'électricité. A partir d'une certaine date, les charges accessoires ont été séparées du loyer. A.b Les décomptes de chauffage concernant les exercices 1998-1999 et 1999-2000, qui se soldaient en faveur de la bailleresse, ont été contestés par Y._. Selon ses propres calculs, les acomptes versés étaient supérieurs aux coûts effectifs qu'il devait supporter, à concurrence de 193 fr.30 pour le premier décompte et de 237 fr.40 pour le second. Le litige a été soumis à l'autorité régionale de conciliation, qui a constaté l'échec de la conciliation. La Caisse de pensions X._ a agi en paiement de 89 fr.95 devant le Tribunal civil du district de Neuchâtel, mais s'est par la suite désistée de son action. Le décompte 2000-2001, qui présentait également un solde en faveur de la bailleresse, a aussi été contesté par Y._, qui estimait qu'un solde de 85 fr.10 apparaissait en sa faveur. La tentative de conciliation ayant une nouvelle foi échoué, Y._ a, le 4 juin 2002, ouvert action en paiement de 430 fr.70 et de 85 fr.10 à l'encontre de la Caisse de pensions X._. Il réclamait la restitution des montants perçus en trop par la bailleresse, exposant que certains des postes des décomptes litigieux ne pouvaient pas être pris en charge par les locataires. Il s'agissait des coûts liés, d'une part, à la consommation excessive de mazout due à un réglage inapproprié de la chaufferie et, d'autre part, au traitement des eaux de chauffage et de l'eau chaude sanitaire. La Caisse de pensions X._ a, à titre reconventionnel, conclu au paiement par le demandeur de la somme de 237 fr.30. La Caisse de pensions X._ a, à titre reconventionnel, conclu au paiement par le demandeur de la somme de 237 fr.30. B. B.a Par jugement du 25 novembre 2004, le Tribunal civil du district de Neuchâtel a partiellement admis la demande du locataire. Le juge de district a considéré que la preuve d'une surconsommation de mazout imputable à la bailleresse n'a pas été apportée. Il a de même estimé que l'existence d'une convention dérogeant au bail initial, au sujet des frais accessoires, n'a pas été établie. Dans une motivation subsidiaire, le magistrat a retenu que les autres charges litigieuses, consécutives aux interventions de W._ SA, n'entraient pas dans la notion de frais accessoires. La bailleresse a ainsi été condamnée au paiement de 482 fr.60, à titre de restitution des acomptes payés en trop. B.b La défenderesse a interjeté un recours en cassation contre ce prononcé. Par arrêt du 24 août 2006, les juges cantonaux ont rejeté le recours. En substance, ils ont considéré que le raisonnement du premier juge, faisant abstraction de l'accord de principe passé entre les parties au sujet de la prise en compte par le locataire, en sus du loyer, des frais accessoires, est arbitraire. Sur le vu de la motivation subsidiaire adoptée en première instance, les magistrats ont poursuivi leur analyse. Ils ont estimé que le jugement attaqué consacre une application erronée de l'art. 5 OBLF, dans la mesure où, d'une part, il exclut radicalement les dépenses de lutte contre la rouille des frais accessoires admissibles et où, d'autre part, il écarte du champ d'application de cette disposition une mesure anti-tartre peut-être discutable mais nullement inconcevable. En dépit de ces deux erreurs de droit, les juges cantonaux n'ont pas cassé le jugement, estimant que le dispositif n'en était pas affecté. En effet, si les juges ont estimé que l'on ne pouvait exclure des frais accessoires les dépenses de lutte contre la rouille et le tartre, ils ont toutefois retenu que ces dépenses devaient être ventilées entre les charges de l'immeuble et les frais accessoires. Or, à défaut d'expertise administrée sur la question, le premier juge n'aurait pas pu établir à satisfaction la part des frais à charge du locataire. En adoptant le raisonnement de la Cour de cassation, le juge de district aurait ainsi dû admettre que l'absence au dossier des preuves nécessaires entraînait le rejet des prétentions de la bailleresse et, partant, l'admission de la créance en remboursement du locataire. B.b La défenderesse a interjeté un recours en cassation contre ce prononcé. Par arrêt du 24 août 2006, les juges cantonaux ont rejeté le recours. En substance, ils ont considéré que le raisonnement du premier juge, faisant abstraction de l'accord de principe passé entre les parties au sujet de la prise en compte par le locataire, en sus du loyer, des frais accessoires, est arbitraire. Sur le vu de la motivation subsidiaire adoptée en première instance, les magistrats ont poursuivi leur analyse. Ils ont estimé que le jugement attaqué consacre une application erronée de l'art. 5 OBLF, dans la mesure où, d'une part, il exclut radicalement les dépenses de lutte contre la rouille des frais accessoires admissibles et où, d'autre part, il écarte du champ d'application de cette disposition une mesure anti-tartre peut-être discutable mais nullement inconcevable. En dépit de ces deux erreurs de droit, les juges cantonaux n'ont pas cassé le jugement, estimant que le dispositif n'en était pas affecté. En effet, si les juges ont estimé que l'on ne pouvait exclure des frais accessoires les dépenses de lutte contre la rouille et le tartre, ils ont toutefois retenu que ces dépenses devaient être ventilées entre les charges de l'immeuble et les frais accessoires. Or, à défaut d'expertise administrée sur la question, le premier juge n'aurait pas pu établir à satisfaction la part des frais à charge du locataire. En adoptant le raisonnement de la Cour de cassation, le juge de district aurait ainsi dû admettre que l'absence au dossier des preuves nécessaires entraînait le rejet des prétentions de la bailleresse et, partant, l'admission de la créance en remboursement du locataire. C. Contre cet arrêt, la défenderesse interjette un recours de droit public au Tribunal fédéral. Invoquant l'arbitraire, elle conclut à l'annulation du jugement entrepris et au renvoi de la cause à l'autorité cantonale pour nouveau jugement, dans le sens des considérants. Le demandeur propose le rejet du recours. La cour cantonale a, quant à elle, renoncé à présenter des observations, se référant à son arrêt.