Faits:
A. Par exploit en conciliation du 20 juillet 2010, A._, né en 1968, a ouvert action en divorce contre son épouse, dame A._, née en 1972. Un acte de non-conciliation a été délivré en séance du 4 octobre 2010 par le Juge suppléant des districts de Martigny et St-Maurice.
Par requête en divorce du 4 février 2011, le mari a notamment conclu, à titre de mesures provisoires, à ce que la convention de mesures protectrices de l'union conjugale du 24 août 2005 et l'avenant du 17 janvier 2006 - selon lequel il s'engageait à verser une contribution de 1'500 fr. par mois pour l'entretien des siens - soient modifiés en ce sens qu'il est libéré «dès ce jour» de toutes contributions d'entretien pour sa famille, au motif que son état de santé ne lui permettait plus de trouver un emploi.
Par décision du 4 avril 2011, le juge de district a partiellement admis la requête de mesures provisoires. Estimant qu'un revenu hypothétique de 2'500 fr. par mois pouvait être imputé au mari - alors qu'au moment de la signature de l'avenant du 17 janvier 2006, il réalisait, en qualité de garagiste indépendant, un revenu mensuel net moyen de 5'800 fr. -, le juge a modifié la convention de mesures protectrices en ce sens que celui-ci versera mensuellement pour l'entretien de chacun de ses deux enfants, nés le 29 juillet 1998, respectivement le 25 avril 2002, une contribution d'un montant de 435 fr. dès le 1er février 2011.
B. Le 18 avril 2011, les conjoints ont chacun fait appel de la décision de première instance, en requérant de surcroît le bénéfice de l'assistance judiciaire totale.
Statuant le 26 juillet 2011, la Juge de la Cour civile II du Tribunal cantonal du canton du Valais a rejeté les deux appels et confirmé la décision de première instance. Elle a de plus rapporté l'effet suspensif accordé le 10 mai 2011, mis les frais de la procédure d'appel par 500 fr. à la charge du mari et par 250 fr. à celle de l'épouse, enfin, condamné le premier à verser à la seconde 400 fr. à titre de dépens.
C. L'épouse exerce un recours en matière civile et un recours constitutionnel subsidiaire contre le jugement du 26 juillet 2011. Elle conclut, dans les deux voies de droit, à la réforme de celui-ci en ce sens que le montant de la contribution d'entretien due pour chacun des enfants reste fixé à 750 fr. par mois, l'assistance judiciaire totale lui étant en outre accordée pour la procédure cantonale d'appel.
L'intimé propose l'irrecevabilité du recours, subsidiairement son rejet.
Dans sa réplique du 5 décembre 2011, la recourante maintient ses conclusions.
Les deux parties sollicitent par ailleurs l'octroi de l'assistance judiciaire totale pour la procédure fédérale.
L'autorité cantonale s'est référée aux considérants de son jugement.
D. Par décision du 31 août 2011, la Présidente de la cour de céans a rejeté les demandes d'effet suspensif et de mesures provisoires présentées par la recourante.

Considérant en droit:
1. Le recours est dirigé contre une décision finale (<ref-law>; <ref-ruling> consid. 2.2), rendue en matière civile (<ref-law>) par l'autorité de dernière instance cantonale statuant sur recours (<ref-law>), dans une cause de nature pécuniaire dont la valeur litigieuse est supérieure à 30'000 fr. (art. 51 al. 1 let. a et al. 4, art. 74 al. 1 let. b LTF). Le recours en matière civile est donc en principe recevable, en sorte que le recours constitutionnel subsidiaire est exclu (<ref-law>). Le recours a en outre été interjeté en temps utile (<ref-law>), par une partie qui a succombé dans ses conclusions prises devant l'autorité précédente (<ref-law>).
Ces considérations valent aussi en tant que la recourante critique le rejet implicite de sa demande d'assistance judiciaire pour la procédure d'appel, étant précisé que, contrairement à ce qu'elle allègue, il ne s'agit pas d'une décision incidente puisque celle-ci n'a pas été prise séparément du fond.
2. 2.1 Dans la mesure où la décision attaquée porte sur des mesures provisionnelles, seule peut être dénoncée la violation de droits constitutionnels (<ref-law>; <ref-ruling> consid. 5.1 in fine, 585 consid. 3.3). Le Tribunal fédéral n'examine la violation de ces droits que si ce moyen est invoqué est motivé par le recourant (principe d'allégation; <ref-law>), c'est-à-dire s'il a été expressément soulevé et exposé de manière claire et détaillée (<ref-ruling> consid. 3.2 et les références citées). Il n'entre pas en matière sur les critiques de nature appellatoire (<ref-ruling> consid. 2). Le recourant qui se plaint d'arbitraire ne saurait, dès lors, se borner à critiquer la décision attaquée comme il le ferait en instance d'appel, où l'autorité de recours jouit d'une libre cognition; il ne peut, en particulier, se contenter d'opposer sa thèse à celle de l'autorité cantonale, mais doit démontrer, par une argumentation précise, que cette décision est manifestement insoutenable (<ref-ruling> consid. 3). L'arbitraire prohibé par l'art. 9 Cst. ne résulte pas du seul fait qu'une autre solution serait concevable, voire préférable; il ne suffit pas non plus que la motivation de la décision soit insoutenable: encore faut-il qu'elle se révèle arbitraire dans son résultat (<ref-ruling> consid. 2.4; <ref-ruling> consid. 2.2.2; <ref-ruling> consid. 4.1 et les arrêts cités).
2.2 Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>). Dans l'hypothèse d'un recours soumis à l'<ref-law>, une rectification ou un complément des constatations de fait n'entre en considération que si l'autorité précédente a violé des droits constitutionnels, les art. 95, 97 et 105 al. 2 LTF ne s'appliquant pas directement (<ref-ruling> consid. 7.1; <ref-ruling> consid. 4.1). Toutefois, l'application de l'art. 9 Cst. aboutit pratiquement au même résultat: le Tribunal fédéral ne corrige les constatations de fait que si elles sont arbitraires et ont une influence sur le résultat de la décision. Dans le domaine de l'appréciation des preuves et de la constatation des faits, le Tribunal fédéral se montre réservé, vu le large pouvoir qu'il reconnaît en la matière à l'autorité cantonale (<ref-ruling> consid. 4b; <ref-ruling> consid. 1b et les références citées). Il n'intervient, du chef de l'art. 9 Cst., que si le juge du fait n'a manifestement pas compris le sens et la portée d'un moyen de preuve, a omis sans motifs objectifs de tenir compte de preuves pertinentes ou a opéré, sur la base des éléments recueillis, des déductions insoutenables (<ref-ruling> consid. 4.2; <ref-ruling> consid. 2.1). Sa retenue est d'autant plus grande lorsque, comme en l'espèce, le juge n'examine la cause que d'une manière sommaire et provisoire, avec administration restreinte des moyens de preuve et limitation du degré de la preuve à la simple vraisemblance (<ref-ruling> consid. 3.3; <ref-ruling> consid. 2b/bb).
Dans la mesure où la recourante s'écarte des constatations de fait du jugement entrepris, les complète ou les modifie, sans se prévaloir ni démontrer d'arbitraire à ce sujet, ses allégations sont irrecevables.
3. Se référant aux art. 9 et 29 al. 2 Cst., ainsi que 8 CC, la recourante reproche à l'autorité précédente d'avoir établi les faits de façon arbitraire et enfreint les règles sur le fardeau de la preuve, en imputant à l'intimé un revenu mensuel hypothétique de 2'500 fr. seulement, considérant à tort qu'elle n'avait pas contesté l'ampleur de l'incapacité de travail de celui-ci. Elle soutient qu'elle a, au contraire, expressément contesté l'allégué du mémoire-demande du mari, qui faisait état d'une incapacité de travail de 50% depuis le mois de novembre 2006. Elle prétend en outre avoir dénoncé en appel les contradictions de celui-ci - auquel incombait le fardeau de la preuve -, soit qu'il avait déclaré avoir maintenu son revenu de 5'000 fr. à 6'000 fr. par mois jusqu'en juin 2008 alors que le certificat médical déposé en cause indiquait une incapacité de travail partielle de 50% depuis novembre 2006 déjà. Contrairement à ce que retient le jugement attaqué, l'intimé serait ainsi en mesure, selon elle, de réaliser le même revenu - à savoir entre 5'000 fr. et 6'000 fr. par mois - que lors de la signature de l'avenant du 17 janvier 2006.
3.1 L'autorité cantonale a constaté qu'en 2005 et 2006, le mari travaillait comme garagiste indépendant et réalisait un revenu de quelque 5'800 fr. par mois. Depuis sa faillite personnelle, prononcée en juin 2006, et jusqu'en mars ou juin 2008, il avait exercé diverses activités salariées, rémunérées à l'heure, pour un revenu mensuel oscillant entre 5'000 fr. et 6'000 fr. Par la suite, il avait perçu des prestations de l'aide sociale. S'il prétendait n'avoir pas de formation professionnelle, il avait exploité un garage pendant au moins trois ans et demi de sorte qu'il devait disposer de compétences étendues dans la branche automobile, d'autant que sa déclaration de résidence du 12 juillet 2010 mentionnait qu'il était mécanicien de profession. La situation du marché du travail dans le secteur du commerce et de la réparation automobiles apparaissait en outre plutôt favorable. Le certificat établi par son médecin le 9 février 2010 faisait certes état d'une incapacité de travail de 50%, apparemment due à une fibromyalgie. L'intéressé, qui était âgé de 42 ans révolus, ne prétendait cependant pas que cette affection l'empêcherait de travailler à mi-temps. Vu l'ensemble de ces éléments, il n'apparaissait pas déraisonnable d'exiger qu'il se réinsérât dans la vie professionnelle. Sous l'angle de la vraisemblance, il paraissait au demeurant en mesure d'obtenir un revenu mensuel de 2'500 fr., soit moins de la moitié de celui (5'800 fr.) qu'il réalisait lors de la signature de l'avenant du 17 janvier 2006.
L'épouse relevait certes, à juste titre, que d'après le certificat médical précité, l'incapacité de travail partielle du mari remontait au mois de novembre 2006 et que sa fibromyalgie avait, selon les dires de celui-ci, été diagnostiquée en 2007. Il ne s'agissait toutefois pas, en l'occurrence, d'élucider comment il avait pu maintenir pendant une année et demie le même niveau de revenus que précédemment, malgré une diminution de sa capacité de gain. Pour l'autorité cantonale, la seule question pertinente à résoudre était de savoir si, compte tenu de sa situation personnelle, il était actuellement en mesure de réaliser un revenu et, dans l'affirmative, de quel montant; or, l'épouse ne contestait pas l'ampleur de l'incapacité de travail du mari attestée par certificat médical.
3.2 Ce faisant, l'autorité cantonale a procédé à une appréciation des preuves qui rend sans objet la question de la répartition du fardeau de la preuve selon l'<ref-law> (<ref-ruling> consid. 2.1 et les arrêts cités). Au demeurant, cette disposition n'est pas applicable telle quelle (<ref-ruling> consid. 3), vu que les mesures provisoires sont ordonnées à la suite d'une procédure sommaire avec administration restreinte des moyens de preuve et limitation du degré de la preuve à la simple vraisemblance (<ref-ruling> consid. 4b; <ref-ruling> consid. 3 et 378 consid. 3b ainsi que la jurisprudence mentionnée dans ces arrêts; cf. aussi: ATF <ref-ruling> consid. 2b/bb). Par ailleurs, on ne voit pas en quoi l'art. 29 al. 2 Cst., qui garantit le droit d'être entendu et donc, notamment, le droit à l'administration de preuves pertinentes (<ref-ruling> consid. 5.1; <ref-ruling> consid. 2.2), aurait été à cet égard violé: la recourante ne formule du reste aucune allégation en ce sens.
Quant à l'appréciation des preuves à laquelle s'est livrée l'autorité cantonale, elle ne peut être qualifiée d'insoutenable. En effet, la juge d'appel n'a pas méconnu les critiques de l'épouse, selon lesquelles les déclarations du mari à propos de son incapacité de travail et le certificat médical y relatif étaient en contradiction avec les revenus qu'il avait continué de réaliser jusqu'en juin 2008. L'autorité cantonale a toutefois estimé que ces allégations n'étaient pas décisives, dès lors qu'il s'agissait de déterminer la capacité de gain actuelle du mari: cette appréciation n'apparaît pas arbitraire, les contradictions invoquées par l'épouse concernant une période antérieure à juin 2008. Comme celle-ci ne démontre pas que le certificat médical du 9 février 2010 ne serait pas probant s'agissant de l'incapacité de travail actuelle du mari, il n'était en outre pas insoutenable de retenir le taux de 50% attesté par cette pièce.
4. De l'avis de la recourante, l'autorité cantonale aurait aussi fait preuve d'arbitraire (art. 9 Cst.) et violé son droit à l'administration des preuves pertinentes (art. 29 al. 2 Cst. et 8 CC) en retenant qu'on ne pouvait imputer à l'intimé un salaire supérieur à 5'000 fr. par mois pour un plein taux d'activité, au motif qu'il n'avait plus travaillé depuis trois ans. Elle soutient qu'à supposer que le fardeau de la preuve lui incombât sur ce point, elle a expressément allégué que l'intimé travaille périodiquement dans le garage de son frère, soit qu'il continue d''être actif dans le secteur professionnel qui est le sien, et qu'il s'adonne à des loisirs coûteux. Or, l'autorité cantonale aurait implicitement refusé, sans réelle motivation, les moyens de preuve proposés à l'appui de ces allégations, consistant dans l'interrogatoire des parties et l'audition de témoins.
4.1 L'<ref-law> comprend, entre autres garanties, le droit à la preuve (<ref-ruling> consid. 5.2.2 et 295 consid. 7.1). Quand ce droit est invoqué en relation avec un droit subjectif privé découlant d'une norme de droit matériel fédéral, le recourant doit, en principe, se plaindre d'une violation de l'<ref-law> (arrêts 5A_783/2010 du 8 avril 2011 consid. 6.1; 5A_398/2010 du 31 août 2010 consid. 4.5). Une exception s'impose toutefois lorsque, comme ici (cf. supra, consid. 2.1), seule peut être dénoncée une violation des droits constitutionnels. C'est dès lors l'art. 29 al. 2 Cst. qui est applicable (<ref-ruling> consid. 2.3; <ref-ruling> consid. 3.1), lequel confère aussi le droit à l'administration de moyens de preuve, autant qu'ils portent sur des faits pertinents et n'apparaissent pas d'emblée inaptes à élucider les faits litigieux (<ref-ruling> consid. 2.3; <ref-ruling> consid. 3.1). Ce droit n'empêche pas l'autorité de mettre un terme à l'instruction, lorsque les preuves administrées lui ont permis de former sa conviction et que, procédant d'une manière non arbitraire à une appréciation anticipée des preuves qui lui sont encore proposées, elle a la certitude qu'elles ne pourraient l'amener à modifier son opinion (<ref-ruling> consid. 2.1; <ref-ruling> consid. 5.3). Si le juge a refusé une mesure probatoire en procédant à une appréciation anticipée des preuves, celle-ci ne peut être contestée qu'en invoquant l'arbitraire (art. 9 Cst.).
4.2 Selon le jugement attaqué, eu égard aux salaires usuels dans la branche automobile, on ne pouvait imputer à un employé de 42 ans, n'ayant plus travaillé depuis trois ans, un salaire supérieur à 5'000 fr. par mois pour une activité à plein temps. Pour le surplus, on ne voyait pas en quoi le fait que le mari travaillerait périodiquement dans le garage de son frère et s'adonnerait à des loisirs coûteux, comme le soutenait l'épouse, pût avoir une influence à cet égard.
La juge cantonale a ainsi fixé le revenu hypothétique de l'intimé en tenant compte de son âge, de son état de santé et de la situation du marché de l'emploi, estimant que les éventuelles activités de celui-ci dans le garage de son frère et le coût de ses loisirs n'étaient pas propres à modifier son appréciation. Compte tenu des éléments dont elle disposait pour déterminer la capacité de gain actuelle de l'intimé, seule pertinente en l'espèce, son refus - par appréciation anticipée des preuves - d'interroger les parties et de faire auditionner des témoins sur ces points est conforme au droit et la recourante n'établit pas qu'il serait arbitraire.
5. La recourante s'en prend par ailleurs au refus d'assistance judiciaire en procédure d'appel, au motif que sa cause apparaissait d'emblée dénuée de toute chance de succès. Elle expose que, par décision du 10 mai 2011, la juge précédente a admis sa demande d'effet suspensif du fait que son appel n'était pas manifestement irrecevable ou dénué de chances de succès, ce qui serait contradictoire. Elle se plaint à cet égard d'arbitraire et de violation de l'art. 29 al. 3 Cst., respectivement de l'art. 2 de la loi cantonale sur l'assistance judiciaire.
La juge précédente a estimé sans autre précision que la requête d'assistance judiciaire de l'épouse - comme du reste celle du mari - ne pouvait qu'être rejetée, car ses griefs apparaissaient d'emblée dénués de toutes chances de succès. Comme l'expose à juste titre la recourante, cette considération se trouve en contradiction avec celle figurant dans la décision sur l'effet suspensif. Le motif pour lequel la juge d'appel a refusé l'assistance judiciaire à la recourante n'est donc pas convaincant. Dès lors que le jugement entrepris ne contient aucune autre explication à cet égard, le grief apparaît fondé et le recours doit par conséquent être admis sur ce point.
6. En conclusion, le recours constitutionnel subsidiaire doit être déclaré irrecevable et le recours en matière civile partiellement admis, dans la mesure où il est recevable. La cour de céans ne dispose pas des éléments nécessaires pour statuer elle-même sur la requête d'assistance judiciaire litigieuse, de sorte qu'il convient de renvoyer la cause à l'autorité cantonale pour qu'elle statue à nouveau à ce sujet.
La recourante obtient gain de cause s'agissant du refus d'assistance judiciaire en procédure d'appel. Dans cette mesure, sa requête d'assistance judiciaire pour la procédure fédérale devient sans objet (<ref-ruling> consid. 5; <ref-ruling> consid. 3). Les dépens incombent au canton du Valais (art. 68 al. 1 et 2 LTF; <ref-ruling> consid. 5), mais non les frais judiciaires (<ref-law>; cf. pour les recours en matière d'assistance judiciaire: CORBOZ, in Commentaire de la LTF, 2009, n° 29 ad art. 66).
Pour le surplus (soit concernant le montant des contributions d'entretien), la requête d'assistance judiciaire de la recourante, dont les conclusions étaient d'emblée dénuées de chances de succès, ne peut être admise (<ref-law>). Celle-ci supportera dès lors les frais judiciaires (<ref-law>) et versera en outre des dépens à l'intimé (art. 68 al. 1 et 2 LTF), dont la requête d'assistance judiciaire devient donc, en principe, sans objet (<ref-ruling> consid. 4; <ref-ruling> consid. 5). Il se justifie, néanmoins, de prévoir l'indemnisation du mandataire de celui-ci par la Caisse du Tribunal fédéral pour le cas où ses dépens ne pourraient pas être recouvrés.

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours constitutionnel subsidiaire est irrecevable.
2. Le recours en matière civile est partiellement admis, dans la mesure où il est recevable, le jugement entrepris est annulé en tant qu'il concerne le refus d'assistance judiciaire à la recourante et la cause est renvoyée à l'autorité cantonale pour nouvelle décision au sens des considérants.
3. Dans la mesure où le recours concerne le refus d'assistance judiciaire en procédure d'appel, la requête d'assistance judiciaire de la recourante pour la procédure fédérale est sans objet. Elle est rejetée pour le surplus.
4. La requête d'assistance judiciaire de l'intimé est admise pour la procédure fédérale, pour autant qu'elle ne soit pas sans objet, et Me Patrick Fontana, avocat, lui est désigné comme conseil d'office.
5. Les frais judiciaires, arrêtés à 1'000 fr., sont mis à la charge de la recourante.
6. Une indemnité de 1'000 fr., à verser à l'intimé à titre de dépens, est mise à la charge de la recourante. Au cas où les dépens dus à l'intimé ne pourraient être recouvrés, la Caisse du Tribunal fédéral versera à Me Patrick Fontana une indemnité de 1'000 fr. à titre d'honoraires d'avocat d'office.
7. Le canton du Valais versera à la recourante une indemnité de 500 fr. à titre de dépens.
8. Le présent arrêt est communiqué aux parties et à la Juge de la Cour civile II du Tribunal cantonal du canton du Valais.
Lausanne, le 10 février 2012
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
La Présidente: Hohl
La Greffière: Mairot