Faits: A. La convention collective de travail romande du second oeuvre (ci-après: CCT), dont le champ d'application a été étendu par arrêté du Conseil fédéral, prévoit la création de commissions professionnelles paritaires cantonales, qui ont notamment pour tâche de contrôler l'application de la CCT dans les entreprises liées et qui sont habilitées à rendre des décisions; celles-ci peuvent comporter par exemple le prononcé d'amendes conventionnelles ou la condamnation des employeurs en faute à verser à la commission compétente les montants dus aux travailleurs, à charge pour elle de les bonifier à ces derniers (art. 50 al. 2 let. a CCT). Ces décisions sont susceptibles d'un recours auprès du tribunal arbitral cantonal, lui aussi instauré par la CCT (art. 51 CCT). Le 12 septembre 2007, la Commission professionnelle paritaire cantonale neuchâteloise (ci-après: la Commission paritaire) a procédé à un contrôle de la société X._ SA, active notamment dans la fourniture et la pose de cuisines et de salles de bain. Par décision du 16 octobre 2008, la Commission paritaire a rectifié, pour un montant brut total de 36'103 fr.55, les salaires et les indemnités pour vacances dus à A._, B._, C._, D._, E._ et F._; par ailleurs, X._ SA a été condamnée à payer à la Commission paritaire une peine conventionnelle de 3'600 fr. et divers frais pour 1'800 fr. B. X._ SA a recouru auprès du Tribunal arbitral cantonal neuchâtelois du second oeuvre. Dans sa sentence du 2 décembre 2010 notifiée directement aux parties, le Tribunal arbitral a donné acte à celles-ci que la Commission paritaire avait réduit la créance de salaire de A._ à 1'294 fr.85 au lieu de 1'627 fr.35, qu'elle avait renoncé aux créances résultant du droit aux vacances pour A._ (996 fr.70) et C._ (507 fr.20) et qu'elle avait réduit la peine conventionnelle à 3'000 fr.; pour le surplus, il a confirmé la décision du 16 octobre 2008. Par recours interjeté le 31 décembre 2010, X._ SA s'est adressée à la Chambre des affaires arbitrales du Tribunal cantonal du canton de Neuchâtel. Cette autorité a rejeté le recours par arrêt du 15 septembre 2011. C. X._ SA forme un recours en matière civile. Elle conclut à l'annulation de l'arrêt de la Chambre des affaires arbitrales et au rejet de toutes les prétentions de la Commission paritaire ou, subsidiairement, au renvoi de la cause à l'instance inférieure pour nouvelle décision. Par ordonnance du 10 novembre 2011, la Présidente de la cour de céans a rejeté la demande d'effet suspensif présentée par la recourante. Dans sa réponse, la Commission paritaire a conclu au rejet du recours.