Faits: Faits: A. Désireux d'acquérir un logement, R. et S. A._ se sont adressés, en 1991, à la fiduciaire et agence immobilière B._ (ci-après: la Fiduciaire), qui détenait un mandat de courtage relatif à un immeuble situé à Martigny. La Fiduciaire leur a présenté divers appartements. Les époux A._ ont décidé d'acheter le plus grand, en insistant pour obtenir les travaux de conciergerie qui étaient bien rémunérés. Les formalités administratives et financières destinées à cette acquisition ont été menées par la Fiduciaire. Le 26 juillet 1991, les époux A._ ont signé devant notaire un acte de vente soumis à la condition que les acheteurs obtiennent un subventionnement de l'Office du logement. Cet acte portait sur une part de propriété par étage avec droit exclusif sur un appartement de quatre pièces et sur une place de parc, pour le prix de 436'000 fr., sous déduction de 28'253,05 fr. de finitions à effectuer par les acquéreurs. Ce prix a été payé sur le compte de construction de la promotion auprès de la Banque X._ (ci-après: la Banque), succursale de Martigny, cessionnaire de la somme. Le 14 août 1991, la Fiduciaire a déposé au nom des époux A._ un dossier relatif à une demande d'aide fédérale et cantonale au logement. Le 25 septembre 1991, l'aide fédérale leur a été accordée en fonction d'un coût de revient arrondi à 454'000 fr., soit 436'000 fr. de prix d'achat et 17'440 fr. de frais d'actes. Il a été retenu que la prise en charge de ces frais, ajoutée au coût des finitions à effectuer, permettait aux acquéreurs de réaliser l'exigence de fonds propres de 10%. Pour financer l'achat de leur appartement, les époux A._, agissant toujours par l'intermédiaire de la Fiduciaire, se sont adressés à la Banque, qui leur a octroyé, le 21 octobre 1991, deux prêts s'élevant respectivement à 300'000 fr. et à 108'000 fr., garantis par le nantissement de deux obligations hypothécaires au porteur d'un même montant. Selon la formule de l'Office fédéral du logement remplie par la Banque en juin 1991, celle-ci a confirmé avoir examiné la solvabilité des époux A._ selon les usages bancaires. A partir du 3 juillet 1992, l'Office fédéral du logement a versé ses subsides, l'État du Valais a fait de même dès le 5 février 1993. Jusqu'à fin 1997, les époux A._ se sont acquittés du remboursement des annuités en faveur de la Banque. Dès le 1er janvier 1998, l'Office fédéral du logement et l'État du Valais ont cessé leurs versements à la suite d'un réexamen de la situation des intéressés, dont les revenus dépassaient les limites pour l'octroi de leurs aides. En effet, il résultait du procès-verbal de taxation du 22 novembre 1997 que les époux A._ avaient omis d'indiquer, dans leur précédente déclaration d'impôt, le revenu provenant d'une rente de 11'517 fr. versée par une assurance. A la suite de ces décisions, les époux A._ ont connu des difficultés financières et n'ont plus été en mesure de s'acquitter des annuités convenues. Le 27 mai 1999, la Banque a dénoncé les prêts hypothécaires pour le 30 septembre 1999, dont les soldes s'élevaient à 316'500 fr. et à 94'600 fr. Le 29 octobre 1999, elle a également dénoncé les deux obligations hypothécaires au porteur pour le 31 janvier 2000. Les époux A._ n'ayant pas été en mesure de s'exécuter, la Banque a introduit, en février 2000, une poursuite en réalisation de gage immobilier et a obtenu, le 2 mai 2000, la mainlevée provisoire à concurrence de 411'100 fr. plus intérêts. Les époux A._ n'ayant pas été en mesure de s'exécuter, la Banque a introduit, en février 2000, une poursuite en réalisation de gage immobilier et a obtenu, le 2 mai 2000, la mainlevée provisoire à concurrence de 411'100 fr. plus intérêts. B. Le 31 mai 2000, R. et S. A._ ont ouvert une action en libération de dette contre la Banque. L'expertise judiciaire requise par les époux A._ a été refusée par le juge en charge du dossier, ce qu'a confirmé la Cour de cassation civile du Tribunal cantonal valaisan, par jugement du 12 mai 2003. Par arrêt du 17 septembre 2003, la Cour de céans a déclaré irrecevable le recours de droit public interjeté par les époux A._ contre cette décision. Par jugement du 12 mars 2004, la Cour civile II du Tribunal cantonal valaisan a rejeté l'action en libération de dette introduite par R. et S. A._. Hormis le moyen fondé sur la nullité de la vente immobilière qui a été écarté, les juges ont considéré en substance que l'on ne pouvait reprocher à la Banque d'avoir surestimé la capacité financière des acheteurs. Par conséquent, celle-ci n'avait pas violé ses devoirs d'information et de conseil en ne dissuadant pas les époux A._ de se lancer dans l'opération immobilière et en ne leur refusant pas tout crédit. Par jugement du 12 mars 2004, la Cour civile II du Tribunal cantonal valaisan a rejeté l'action en libération de dette introduite par R. et S. A._. Hormis le moyen fondé sur la nullité de la vente immobilière qui a été écarté, les juges ont considéré en substance que l'on ne pouvait reprocher à la Banque d'avoir surestimé la capacité financière des acheteurs. Par conséquent, celle-ci n'avait pas violé ses devoirs d'information et de conseil en ne dissuadant pas les époux A._ de se lancer dans l'opération immobilière et en ne leur refusant pas tout crédit. C. Parallèlement à un recours en réforme, les époux A._ interjettent un recours de droit public au Tribunal fédéral contre le jugement du 12 mars 2004. Invoquant l'arbitraire et une violation de leur droit d'être entendu, ils concluent à l'annulation du jugement attaqué, avec suite de frais et dépens. La Banque propose le rejet du recours, les frais et dépens étant mis à la charge des recourants. Le Tribunal cantonal a, pour sa part, renoncé à formuler des observations, se référant aux considérants de son jugement.