Faits:
A. Par contrat du 14 octobre 2002, X._ et Y._ ont remis à bail à H.Z._ et F.Z._ un appartement de 4,5 pièces, situé à ..., dans le canton de Neuchâtel. Le bail, initialement fixé pour une période déterminée, du 1er novembre 2002 au 31 mars 2004, était ensuite renouvelable tacitement d'année en année. Le loyer a été convenu à 1'590 fr. nets par mois, sur la base d'un taux hypothécaire de 4% et de l'indice des prix à la consommation du mois de septembre 2001 de 101.9.
Souhaitant bénéficier de la baisse du taux hypothécaire, les locataires ont, le 13 juin 2005, demandé une diminution de loyer pour la prochaine échéance du bail, le 1er avril 2006. Leur requête a été refusée par la régie représentant les bailleurs, au motif que le montant du loyer ne procurait pas "un rendement admissible au sens de l'<ref-law>".
B. Le 5 juillet 2005, les locataires ont saisi l'autorité régionale de conciliation de Neuchâtel d'une requête en diminution du loyer. Après avoir suspendu la procédure, cette autorité a, le 3 avril 2007, constaté l'échec de la tentative de conciliation et mis à la charge des bailleurs les frais de la procédure, estimant que ces derniers n'avaient pas satisfait à leur obligation de collaborer au sens de l'<ref-law>.
Les deux parties ont porté le litige devant le Tribunal civil du district de Boudry. Les locataires demandaient une diminution du loyer net de 7,08 % dès le 1er avril 2006, ce qui portait à 1'477 fr.40 le montant du loyer mensuel.
Les bailleurs ont, pour leur part, contesté leur condamnation aux frais de la procédure de conciliation; ils ont, par ailleurs, opposé à la demande de baisse de loyer le rendement insuffisant de la chose louée.
En cours de procès, une expertise a été confiée à A._, architecte. L'expert a déposé son rapport le 1er septembre 2008 et un rapport complémentaire le 7 octobre 2008.
Par jugement du 27 juillet 2009, le Tribunal a fixé à 1'477 fr.40 le loyer net des locataires, dès le 1er avril 2006; il a arrêté à 4'128 fr.75 les frais de justice et les a mis à la charge des bailleurs ainsi que les honoraires du mandataire des locataires.
Statuant le 26 février 2010 sur recours des bailleurs, la Cour de cassation civile du canton de Neuchâtel a admis partiellement le recours; elle a cassé le chiffre 4 du dispositif du jugement entrepris, qui condamnait les défendeurs à payer aux demandeurs les honoraires de leur mandataire et confirmé pour le surplus le jugement entrepris; elle a réparti les frais de la procédure de recours à raison de 9/10 à la charge des bailleurs et à raison de 1/10 à la charge des locataires et condamné les bailleurs à verser aux locataires une indemnité de dépens arrêtée globalement à 5'800 fr. pour les deux instances.
Les motifs de cet arrêt seront repris ci-dessous dans la mesure utile.
C. Les bailleurs exercent contre cet arrêt un recours en matière civile au Tribunal fédéral. Invoquant une appréciation arbitraire des preuves, ainsi qu'une violation des <ref-law> et 274d al. 3 CO, ils demandent l'annulation du jugement entrepris en ce sens qu'il soit dit que la demande des locataires est mal fondée. A titre subsidiaire, ils requièrent le renvoi de la cause pour nouvelle décision devant l'une des instances précédentes, le tout sous suite de frais et dépens.
Les locataires concluent au rejet du recours.

Considérant en droit:
1. 1.1 L'affaire pécuniaire qui a donné lieu au prononcé de l'arrêt soumis à l'examen du Tribunal fédéral porte sur une différence de loyer de 1'351 fr.20 par an (1'590 fr. - 1'477 fr.40 x 12). Le bail étant de durée indéterminée, il faut multiplier ce montant par vingt, conformément à l'<ref-law>, pour déterminer la valeur litigieuse (<ref-ruling> consid. 1 p. 399). Ainsi, la valeur litigieuse minimale de 15'000 fr. exigée en matière de bail à loyer est manifestement atteinte (<ref-law>).
1.2 Interjeté par la partie qui a succombé dans ses conclusions relatives au montant du loyer dû (<ref-law>) et dirigé contre une décision finale (<ref-law>) rendue en matière civile (<ref-law>) par une autorité cantonale de dernière instance (<ref-law>), le présent recours en matière civile est donc recevable, puisqu'il a été déposé dans le délai (<ref-law>) et la forme (<ref-law>) prévus par la loi.
1.3 Le recours peut être interjeté pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (<ref-law>). Il n'est donc limité ni par les arguments soulevés dans le recours, ni par la motivation retenue par l'autorité précédente; il peut admettre un recours pour un autre motif que ceux qui ont été invoqués et il peut rejeter un recours en adoptant une argumentation différente de celle de l'autorité précédente (<ref-ruling> consid. 1.4 p. 400; <ref-ruling> consid. 1.1 p. 104). Compte tenu de l'exigence de motivation contenue à l'art. 42 al. 1 et 2 LTF, sous peine d'irrecevabilité (<ref-law>), le Tribunal fédéral n'examine en principe que les griefs invoqués; il n'est pas tenu de traiter, comme le ferait une autorité de première instance, toutes les questions juridiques qui se posent, lorsque celles-ci ne sont plus discutées devant lui (<ref-ruling> consid. 1.4 p. 400).
1.4 Le Tribunal fédéral conduit son raisonnement juridique sur la base des faits établis par l'autorité précédente (<ref-law>). Il ne peut s'en écarter que si les faits ont été établis de façon manifestement inexacte - ce qui correspond à la notion d'arbitraire (<ref-ruling> consid. 1.5 p. 130, 397 consid. 1.5 p. 401; <ref-ruling> consid. 8.1 p. 153) - ou en violation du droit au sens de l'<ref-law> (<ref-law>). La partie recourante qui entend s'écarter des constatations de l'autorité précédente doit expliquer de manière circonstanciée en quoi les conditions d'une exception prévue par l'<ref-law> seraient réalisées, faute de quoi il n'est pas possible de tenir compte d'un état de fait qui diverge de celui contenu dans la décision attaquée (<ref-ruling> consid. 1.4 et 6.2). Encore faut-il que la rectification demandée soit susceptible d'influer sur le sort de la cause (<ref-law>). Aucun fait nouveau ni preuve nouvelle ne peut être présenté à moins de résulter de la décision de l'autorité précédente (<ref-law>).
2. A titre préalable, il convient d'observer que les recourants ne dénoncent aucune violation du droit fédéral en lien avec la méthode de calcul du rendement net de la chose louée, qui relève du droit et non des faits.
3. 3.1 Sous l'angle de l'appréciation des preuves, les recourants font grief aux juges cantonaux de s'être distancés, de manière insoutenable, de l'expertise judiciaire.
3.1.1 Dans l'appréciation des preuves et la constatation des faits, l'autorité viole l'art. 9 Cst. lorsqu'elle ne prend pas en considération, sans aucune raison sérieuse, un élément de preuve propre à modifier la décision, lorsqu'elle se trompe manifestement sur son sens et sa portée, ou encore lorsque, sur la base des éléments recueillis, elle en tire des constatations insoutenables (<ref-ruling> consid. 2.1). Elle apprécie librement la force probante d'une expertise. Dans le domaine des connaissances professionnelles particulières de l'expert, elle ne peut toutefois s'écarter de l'opinion de celui-ci que pour des motifs importants qu'il lui incombe d'indiquer (<ref-ruling> consid. 5.4.2 p. 345/346; <ref-ruling> consid. 2 p. 86 in medio). Elle y est notamment autorisée lorsque le rapport d'expertise présente des contradictions ou s'il attribue un sens ou une portée inexacts aux documents et déclarations auxquels il se réfère (<ref-ruling> consid. 3a p. 130).
3.1.2 Les recourants reprochent à l'autorité cantonale de n'avoir pas pris en considération le "coût de revient de l'immeuble déterminé dans l'expertise", chiffré à 3'057'491 francs.
Dans le cadre du calcul du rendement net de la chose louée, la cour cantonale a arrêté le coût de revient effectif de celle-ci et s'est, pour ce faire, prononcée sur la force probante de l'expertise. Sur ce point, elle a jugé, tout comme les juges de première instance, qu'il y avait lieu de se distancer des conclusions de l'expertise, au motif que l'expert a procédé à des estimations. Les magistrats ont à cet égard relevé que l'expert a pris appui, pour chiffrer le montant des honoraires d'architecte et de promotion, sur le coût de construction allégué par les bailleurs, mais contesté et non établi par preuves.
Comme déjà indiqué, les recourants ne contestent pas la méthode de calcul du rendement de l'immeuble, en particulier les critères à prendre en compte dans la détermination du coût de revient effectif de l'immeuble (sur la méthode de calcul du rendement, voir notamment arrêt du Tribunal fédéral 4C_285/2005 du 18 janvier 2006, consid. 2.4). Dans leur critique des faits, ils assimilent le coût de revient effectif de l'immeuble au coût de construction retenu par l'expert et soutiennent que ce dernier coût n'est en aucun cas issu d'une simple estimation, puisqu'il a été confirmé par l'architecte de l'immeuble.
A tort toutefois. L'intitulé du décompte manuel de 1992 sur lequel l'expert a pris appui pour chiffrer le coût de construction et calculer les honoraires d'architecte et de promotion fait état du "coût estimatif de la construction", et non pas du coût effectif. En outre, la confirmation par l'un des architectes du coût figurant dans le décompte n'a aucune force probante, dès lors que l'architecte en question n'est autre que l'un des deux bailleurs recourants. Les recourants ne font par ailleurs état d'aucun autre élément de preuve à même d'établir que le montant allégué correspond au coût effectif de la construction.
Les magistrats cantonaux étaient donc fondés, pour fixer le prix de revient total de l'immeuble, en particulier les honoraires d'architecte et de promotion, à ne pas tenir compte de l'opinion avancée par l'expert judiciaire. Cela étant, il n'y a pas lieu de discuter plus avant les considérations émises par ce dernier.
3.2 Les recourants prétendent que le montant des honoraires d'architecte s'élève à 200'000 fr., et non pas à 25'000 francs. Ils soutiennent notamment que l'argumentation de l'autorité cantonale relative au calcul théorique des honoraires - qui a été réfuté - est infondée.
A défaut de preuves et d'arguments concernant les frais effectifs d'honoraires d'architecte allégués par les recourants, les autorités cantonales les ont arrêtés à 25'000 francs. Pour ce faire, les magistrats se sont référés au décompte du 30 septembre 1997.
Mis à part l'expertise judiciaire, valablement écartée - comme relevé ci-dessus -, les recourants ne mentionnent pas l'existence de preuves que les magistrats cantonaux auraient omis de prendre en compte dans leur appréciation. Ils ne contestent pas l'absence de motivation de leur part concernant les chiffres présentés.
Le recours à un calcul théorique des honoraires d'architecte n'est par ailleurs d'aucun secours aux recourants, dès lors que, comme relevé par les juges précédents, seul est pertinent, dans le cadre du calcul de rendement, le coût effectif.
C'est donc sans arbitraire que la cour cantonale a confirmé le montant des honoraires d'architecte fixés par les premiers juges à 25'000 fr., référence faite au décompte final du 30 septembre 1997.
3.3 Les recourants contestent également le montant des honoraires de promotion retenu par la cour cantonale. Ils articulent la somme de 70'000 fr., en lieu et place des 50'000 fr. arrêtés par l'autorité cantonale sur la base du décompte du 8 mai 1992.
L'autorité cantonale a écarté les conclusions de l'expertise au motif qu'elle se fondait sur le décompte manuel de 1992 qui n'était en définitive qu'une estimation et non pas un compte rendu des coûts effectifs. Cela étant, elle ne pouvait pas raisonnablement s'appuyer sur le décompte en question pour fixer les honoraires de promotion.
La décision attaquée ne saurait pour autant être taxée d'arbitraire, dès lors que même si le montant allégué par les recourants devait être considéré comme établi - ce qui paraît douteux, dans la mesure où le seul document cité pour le justifier est l'expertise judiciaire -, il ne permettrait pas d'aboutir à un résultat différent de celui auquel est parvenue l'autorité cantonale. En effet, à supposer que l'on ajoute les 70'000 fr. allégués au prix de revient de l'immeuble et que l'on procède à nouveau au calcul opéré par l'instance cantonale, on aboutit au même résultat, à savoir que la baisse annuelle de loyer demandée est inférieure à la baisse maximum possible au regard du rendement net admissible.
Le grief d'arbitraire ne peut donc être accueilli favorablement.
3.4 Les recourants dénoncent enfin une appréciation arbitraire des preuves en lien avec la charge des intérêts hypothécaires.
L'autorité cantonale a exclu la prise en compte des intérêts hypothécaires au titre des charges de la chose louée, au motif que l'immeuble a été financé exclusivement avec des fonds propres. Pour ce faire, elle s'est fondée sur les propres déclarations des bailleurs, confirmées par les pièces littérales 3 et 19 qui font état du remboursement de l'emprunt intervenu à la fin 1998; dans son appréciation, la juridiction cantonale n'a accordé aucune force probante au bouclement comptable 2005, qui fait mention d'"intérêts hypothécaires" sans autre précision.
Les recourants prétendent que les différents immeubles appartenant aux bailleurs font l'objet d'un seul et unique prêt et que, partant, le remboursement de l'emprunt susmentionné ne signifie en aucun cas que plus aucun intérêt hypothécaire n'était dû.
Le grief est infondé, dès lors que l'existence d'un seul et unique prêt ne ressort pas de l'état de fait souverain. Il est en outre rappelé qu'au regard de l'<ref-law>, seul est déterminant le rendement du logement ou du local commercial remis à bail, à l'exclusion du rendement de tout l'immeuble ou d'un groupe d'immeubles appartenant au même propriétaire (arrêt du Tribunal fédéral 4A_219/2007 du 26 novembre 2007 consid. 3.2.1).
Par ailleurs, dans la mesure où il n'est pas contesté que l'emprunt a été totalement remboursé, on ne voit pas en quoi il serait insoutenable, pour la cour cantonale, d'avoir exclu la prise en compte d'éventuels intérêts hypothécaires et donc de n'avoir pas accordé de force probante au bouclement 2005 qui en fait mention. En outre, contrairement à ce que soutiennent les recourants, l'autorité cantonale a accordé le même poids à ce dernier titre s'agissant des charges liées à la lessiverie que celles liées aux intérêts hypothécaires.
4. Parallèlement au grief d'appréciation arbitraire des preuves, les recourants dénoncent une violation de l'<ref-law>. Ils affirment en substance que les juges neuchâtelois auraient dû ordonner une expertise complémentaire, afin de dissiper les doutes qu'ils pouvaient éprouver à la lecture de l'expertise judiciaire ordonnée.
L'<ref-law> prescrit au juge d'établir d'office les faits et aux parties de lui présenter toutes les pièces nécessaires à l'appréciation du litige. Il pose le principe d'une maxime inquisitoriale sociale, laquelle ne constitue cependant pas une maxime d'office absolue et ne libère pas les deux parties de collaborer activement à l'établissement des faits (arrêt 4C.316/1996 du 14 avril 1997 consid. 4b/aa, non publié à l'<ref-ruling>, et les références citées).
Les recourants ne prétendent pas avoir sollicité l'administration d'une expertise complémentaire et, encore moins, ne pas avoir pu faire valoir leurs moyens, lors même qu'il leur appartenait d'établir les montants permettant de calculer le rendement net de l'immeuble. Dès lors que les magistrats étaient en mesure de se forger une conviction sur la base des moyens de preuve à disposition et que la maxime inquisitoriale sociale prévue par l'<ref-law> ne permet pas d'étendre à bien plaire l'administration des preuves et de recueillir toutes les preuves possibles (arrêt 4C.199/2000 du 21 décembre 2000, publié in SJ 2001 I p. 278 consid. 2a; <ref-ruling> consid. 4a p. 238), les juges neuchâtelois n'avaient pas à faire administrer une expertise complémentaire.
Cela étant, on ne discerne aucune violation de l'<ref-law>.
5. Il n'y a enfin pas lieu d'entrer en matière sur le grief pris d'une violation de l'<ref-law>, puisque les recourants n'y consacrent aucun développement (<ref-law>).
6. Le recours est rejeté dans la mesure de sa recevabilité.
A titre de partie qui succombe, les recourants doivent acquitter l'émolument à percevoir par le Tribunal fédéral et les dépens auxquels les intimés peuvent prétendre.

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté, dans la mesure où il est recevable.
2. Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge des recourants.
3. Les recourants verseront aux intimés, solidairement entre eux, une indemnité de 2'500 fr. à titre de dépens.
4. Le présent arrêt est communiqué aux parties et à la Cour de cassation civile du Tribunal cantonal du canton de Neuchâtel.
Lausanne, le 29 juin 2010
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La Présidente: La Greffière:
Klett Crittin