Faits : A. Par décision du 25 février 2014, confirmée sur réclamation le 8 mai 2014, la Commission sociale de la Ville de Fribourg (ci-après: la Commission sociale) a garanti la couverture du budget social de B.A._ et A.A._ et de leurs six enfants, pour le mois de février 2014. Elle a précisé que la part de loyer prise en charge par l'aide sociale était limitée à 1'950 fr. par mois et a soumis la prolongation de la garantie, à partir du mois de mars suivant, à la condition que A.A._ renonce à son activité indépendante et se mette à la disposition du marché du travail à 100 %, comme demandeuse d'emploi. B. Les époux ont recouru contre la décision du 8 mai 2014 devant la Cour des assurances sociales du Tribunal cantonal du canton de Fribourg et ont demandé notamment à être mis au bénéfice de l'assistance judiciaire. Par décision de mesures provisionnelles urgentes du 23 juin 2014, la Juge déléguée a ordonné à la Commission sociale de procéder à un nouveau calcul du budget social des époux et à compléter au besoin la couverture de leurs besoins fondamentaux et ceux de leurs enfants, à compter du mois de juin 2014. Par écriture du 29 septembre 2014, les époux ont indiqué qu'ils étaient indépendants financièrement depuis le 1 er mai précédent et qu'ils entendaient maintenir le recours en tant qu'il porte sur la couverture du budget social pour les mois de mars et avril 2014, ainsi que la requête d'assistance judiciaire. Par jugement du 21 octobre 2014, le Tribunal cantonal a déclaré sans objet le recours et a rayé la cause du rôle. Par ailleurs, il a rejeté la requête d'assistance judiciaire, motif pris que la cause était dénuée de chances de succès. C. Les époux interjettent un recours en matière de droit public contre ce jugement, en concluant principalement à la couverture du budget social de la famille depuis le 1 er février 2014, ainsi qu'à l'octroi de l'assistance judiciaire et d'une indemnité de partie, pour la procédure cantonale. Subsidiairement, ils concluent au renvoi de la cause à la juridiction précédente pour nouveau jugement dans le sens des considérants. En outre, ils demandent à bénéficier de l'assistance judiciaire pour la procédure fédérale. La Commission sociale conclut au rejet du recours, tandis que la juridiction cantonale renonce à présenter des déterminations.