Faits:
A. A._, son épouse, et leurs trois enfants nés en 1991, respectivement 1992 et 2007, ont le statut de réfugiés. Ils sont assistés financièrement par l'Association Caritas Genève (ci-après: Caritas). Les conjoints sont affiliés à l'AVS en qualité de personnes sans activité lucrative depuis le 1er juin 2008 en ce qui concerne le mari et le 1er mars 2009 pour l'épouse.
Saisie d'une demande tendant à l'octroi d'allocations familiales pour les trois enfants, la Caisse d'allocations familiales pour personnes sans activité lucrative (ci-après: la CAFNA) a reconnu le droit des époux à des allocations familiales depuis le 1er septembre 2008, date de l'arrivée des enfants en Suisse. Toutefois, comme les intéressés devaient encore à la Caisse cantonale genevoise de compensation (ci-après: la caisse de compensation) un montant de 1'272 fr. au titre de cotisations AVS non payées, la CAFNA a compensé cette dette avec les allocations échues et elle a versé le solde, soit 16'488 fr., à Caritas (décision du 29 juillet 2010).
A._, représenté par Caritas, a fait opposition à cette décision en tant qu'elle concernait la compensation, en alléguant que sa famille dépendait de l'aide sociale et qu'il avait présenté une demande de remise des cotisations AVS.
Le 21 juillet 2010, la caisse de compensation a admis la demande de remise des cotisations AVS pour les mois de juin à décembre 2008, ainsi que janvier et février 2009.
Statuant sur l'opposition formée par A._ contre la décision de compensation du 29 juillet 2010, la CAFNA l'a rejetée par décision du 30 septembre 2010.
B. L'intéressé a recouru contre cette décision sur opposition devant le Tribunal cantonal des assurances sociales de la République et canton de Genève (aujourd'hui: Cour de justice de la République et canton de Genève, Chambre des assurances sociales).
Par jugement du 20 janvier 2011, la juridiction cantonale a admis le recours et annulé les décisions de la CAFNA des 29 juillet et 30 septembre 2010.
C. L'Office fédéral des assurances sociales (OFAS) interjette un recours en matière de droit public en concluant à l'annulation de ce jugement.
La CAFNA forme également un recours en matière de droit public contre le jugement cantonal dont elle requiert l'annulation en concluant à la confirmation de sa décision sur opposition du 30 septembre 2010.
A._ conclut au rejet des recours dans la mesure où ils sont recevables.
La CAFNA conclut à l'admission du recours de l'OFAS, tandis que celui-ci a renoncé à présenter des déterminations sur le recours de la CAFNA.

Considérant en droit:
1. Les recours en matière de droit public concernent des faits de même nature, portent sur des questions juridiques communes et sont dirigés contre le même jugement. Il se justifie donc de joindre les causes et de les liquider dans un seul arrêt (<ref-ruling> consid. 1 p. 60; <ref-ruling> consid. 1 p. 126; <ref-ruling> consid. 1 p. 215 et les références).
2. Le jugement attaqué est une décision finale (<ref-law>), rendue dans une cause de droit public (<ref-law>) par une autorité cantonale de dernière instance (art. 86 al. 1 let. d LTF) et qui ne tombe pas sous le coup des exceptions de l'<ref-law>, de sorte qu'il peut faire l'objet d'un recours en matière de droit public au Tribunal fédéral.
D'après l'<ref-law>, ont notamment qualité pour interjeter un recours de droit public au Tribunal fédéral la Chancellerie fédérale, les départements fédéraux ou, pour autant que le droit fédéral le prévoie, les unités qui leur sont subordonnées, si l'acte attaqué est susceptible de violer la législation fédérale dans leur domaine d'attributions. En l'occurrence, l'OFAS peut se prévaloir de la qualité pour recourir devant le Tribunal fédéral contre les jugements rendus par les tribunaux cantonaux des assurances, que lui confère l'art. 19 al. 1, 1ère phrase OAFam dans le domaine des allocations familiales.
3. Le litige porte sur la compensation de la créance de cotisations AVS de la caisse de compensation pour la période du mois de mars 2009 au mois de juin 2010 avec des arriérés d'allocations familiales dus par la CAFNA.
4. 4.1 La loi fédérale du 24 mars 2006 sur les allocations familiales (loi sur les allocations familiales [LAFam; RS 836.2]) est entrée en vigueur le 1er janvier 2009. Selon l'art. 25 let. d LAFam, sont applicables les dispositions de la législation sur l'AVS, y compris les dérogations à la LPGA, concernant la compensation (<ref-law>).
Aux termes de l'<ref-law>, peuvent être compensées avec des prestations échues:
a. les créances découlant de la LAVS, de la LAI, de la loi fédérale du 25 septembre 1952 sur le régime des allocations pour perte de gain en faveur des personnes servant dans l'armée ou dans la protection civile, et de la loi fédérale du 20 juin 1952 sur les allocations familiales dans l'agriculture;
b. les créances en restitution des prestations complémentaires à l'assurance-vieillesse, survivants et invalidité, ainsi que
c. les créances en restitution des rentes et indemnités journalières de l'assurance-accidents obligatoire, de l'assurance militaire, de l'assurance-chômage et de l'assurance-maladie.
En l'absence de lois spéciales en matière d'assurances sociales qui règlent la compensation des créances, le principe de compensation des créances de droit public est admis comme règle générale. Dans ce cas, les dispositions du Code des obligations qui en fixent les conditions (<ref-law>) sont applicables par analogie (<ref-ruling> consid. 2.1 p. 508 s. et les références).
De manière générale, la compensation, en droit public - et donc notamment en droit des assurances sociales - est subordonnée à la condition que deux personnes soient réciproquement créancières et débitrices l'une de l'autre conformément à la règle posée à l'<ref-law>. Cette règle n'est cependant pas absolue. Il a toujours été admis, en effet, que l'<ref-law> y déroge dans une certaine mesure pour prendre en compte les particularités relatives aux assurances sociales en ce qui concerne précisément cette condition de la réciprocité des sujets de droit posée à l'<ref-law>. La possibilité de compenser s'écarte de cette réglementation quand les créances opposées en compensation sont en relation étroite, du point de vue de la technique d'assurance et du point de vue juridique: Dans ces situations, il n'est pas nécessaire que l'administré ou l'assuré soit en même temps créancier et débiteur de l'administration (<ref-ruling> consid. 2.2.1 p. 178; <ref-ruling> consid. 2.4 p. 510 s.; voir également cet arrêt pour les exemples d'exceptions à la condition de la réciprocité, lorsque l'assuré n'est pas simultanément créancier et débiteur de l'assureur social).
De manière générale, la compensation, en droit public - et donc notamment en droit des assurances sociales - est subordonnée à la condition que deux personnes soient réciproquement créancières et débitrices l'une de l'autre conformément à la règle posée à l'<ref-law>. Cette règle n'est cependant pas absolue. Il a toujours été admis, en effet, que l'<ref-law> y déroge dans une certaine mesure pour prendre en compte les particularités relatives aux assurances sociales en ce qui concerne précisément cette condition de la réciprocité des sujets de droit posée à l'<ref-law>. La possibilité de compenser s'écarte de cette réglementation quand les créances opposées en compensation sont en relation étroite, du point de vue de la technique d'assurance et du point de vue juridique: Dans ces situations, il n'est pas nécessaire que l'administré ou l'assuré soit en même temps créancier et débiteur de l'administration (<ref-ruling> consid. 2.2.1 p. 178; <ref-ruling> consid. 2.4 p. 510 s.; voir également cet arrêt pour les exemples d'exceptions à la condition de la réciprocité, lorsque l'assuré n'est pas simultanément créancier et débiteur de l'assureur social).
4.2 4.2.1 La juridiction cantonale a considéré qu'il était contraire à l'esprit et au but des allocations familiales d'autoriser la compensation d'une créance de prestations fondée sur la LAFam avec une dette de cotisations AVS. Certes, elle est d'avis, contrairement au point de vue soutenu par l'intéressé dans son recours de droit cantonal, qu'une telle compensation repose effectivement sur une base légale même si l'<ref-law> mentionne seulement les créances découlant de la loi fédérale du 20 juin 1952 sur les allocations familiales dans l'agriculture (LFA; RS 836.1). Les premiers juges ont considéré, en effet, que l'art. 25 let. d LAFam renvoie expressément à l'<ref-law>, de sorte que l'<ref-law> est applicable par analogie dans le régime des allocations familiales de droit commun, bien qu'il ne mentionne pas la LAFam. Toutefois, dans le cas particulier, la juridiction cantonale a exclu la compensation pour un autre motif. Elle a considéré qu'il n'existait pas une relation suffisamment étroite du point de vue de la technique d'assurance et du point de vue juridique entre les cotisations AVS et les allocations familiales pour justifier la compensation lorsque l'assuré n'est pas en même temps créancier et débiteur de l'assureur social.
4.2.2 A l'appui de son recours, l'OFAS fait valoir que le simple renvoi de l'art. 25 let. d LAFam à l'<ref-law> suffit pour rendre applicable cette disposition de la LAVS dans le régime des allocations familiales LAFam, du moment que le refus de reconnaître ce renvoi reviendrait à vider l'art. 25 let. d LAFam de toute sa substance. Dès lors, selon l'OFAS, la possibilité de compenser se fonde non pas sur les règles générales du droit, lesquelles sont exprimées notamment par les <ref-law>, mais sur le système de l'<ref-law> qui s'en écarte partiellement. Ce système spécifique permet de compenser des cotisations et des rentes interdépendantes du point de vue du droit des assurances sociales et cela sans considération des personnes soumises à l'obligation de cotiser ou ayants droit à la prestation.
4.2.3 De son côté, la CAFNA soutient que le raisonnement de la juridiction cantonale - qui consiste à nier l'existence d'une relation suffisamment étroite entre les cotisations AVS et les allocations familiales - vide de son sens le renvoi de l'art. 25 let. d LAFam à l'<ref-law> et contrevient ainsi à la volonté du législateur. En outre, d'après l'<ref-law>, le droit des personnes sans activité lucrative à des allocations familiales dépend de leur affiliation à l'AVS à ce titre. Il existe donc, selon la CAFNA, un lien étroit entre l'affiliation à l'AVS et le droit à des allocations familiales, ce qui justifie la compensation des allocations arriérées avec les cotisations AVS échues. Par ailleurs, se référant à la jurisprudence selon laquelle la compensation entre des cotisations AVS échues et des allocations familiales dans l'agriculture est possible (<ref-ruling>; RCC 1955 p. 108), la recourante fait valoir qu'il n'y a pas de motif d'admettre la compensation dans le régime de la LFA mais pas dans celui de la LAFam. Enfin, la CAFNA invoque le fait que dans le canton de Genève, les personnes sans activité lucrative et les salariés ne paient pas de contributions d'allocations familiales (outre les salariés d'employeurs non soumis à cotisations). Aussi, dans la mesure où les cotisations AVS/AI/APG sont prélevées directement sur le revenu des salariés et que seul l'employeur est redevable et responsable du paiement des cotisations AVS/AI/APG, la recourante est-elle d'avis que l'interdiction de la compensation entre les cotisations AVS/AI/APG et les prestations d'allocations familiales dans le régime des personnes sans activité lucrative aurait pour effet qu'une caisse de compensation ne pourrait de facto jamais procéder à la compensation au sens de l'<ref-law> par renvoi de l'art. 25 let. d LAFam.
4.2.4 Quant à l'intimé, il se réfère à la jurisprudence selon laquelle la compensation n'est admissible qu'à la condition que la dette soit celle du bénéficiaire des prestations personnellement ou qu'elle soit en relation étroite avec les prestations, du point de vue du rapport d'assurance. Tel n'est pas le cas, selon lui, en ce qui concerne les allocations familiales destinées à soutenir les parents en participant aux coûts occasionnés par les enfants et les cotisations AVS dues par les parents afin d'obtenir une rente vieillesse ou de survivant.
4.2.4 Quant à l'intimé, il se réfère à la jurisprudence selon laquelle la compensation n'est admissible qu'à la condition que la dette soit celle du bénéficiaire des prestations personnellement ou qu'elle soit en relation étroite avec les prestations, du point de vue du rapport d'assurance. Tel n'est pas le cas, selon lui, en ce qui concerne les allocations familiales destinées à soutenir les parents en participant aux coûts occasionnés par les enfants et les cotisations AVS dues par les parents afin d'obtenir une rente vieillesse ou de survivant.
4.3 4.3.1 En l'occurrence, il y a lieu d'admettre, à l'instar de la juridiction cantonale, que la compensation d'une créance de prestations fondée sur la LAFam avec une dette de cotisations AVS repose sur une base légale. Certes, l'<ref-law> ne mentionne pas les créances fondées sur la LAFam mais seulement celles qui découlent de la LFA. Toutefois, l'entrée en vigueur, le 1er janvier 2009 de l'art. 25 let. d LAFam a modifié la situation juridique. Selon l'adage consacré pour résoudre un conflit de normes, la règle de droit la plus récente l'emporte sur la plus ancienne ("lex posterior derogat legi priori"). Il s'ensuit que l'<ref-law>, dans la mesure où il entrerait en contradiction avec l'art. 25 let. d LAFam parce qu'il ne mentionne pas la LAFam, ne peut que céder le pas à cette norme entrée en vigueur postérieurement. La possibilité de compenser une créance en paiement de prestations découlant de la LAFam avec une dette de cotisations AVS repose ainsi sur une réglementation spéciale en matière d'assurances sociales.
4.3.2 Cette réglementation spéciale permet donc, dans le domaine des allocations familiales selon la LAFam et à certaines conditions, d'opérer la compensation tout en dérogeant, dans une certaine mesure, à l'exigence de réciprocité des sujets de droit posée à l'<ref-law>. En particulier, il est possible de déroger à l'exigence que l'administré ou l'assuré soit en même temps créancier et débiteur de l'administration ou de l'assureur social, à la condition que les créances opposées en compensation soient en relation étroite, du point de vue de la technique d'assurance ou du point de vue juridique (UELI KIESER/MARCO REICHMUTH, Bundesgesetz über die Familienzulagen, 2010, n. 22 ad art. 25). La jurisprudence a précisé à de nombreuses reprises la notion de relation étroite entre les créances dans des situations où le débiteur des cotisations (ou de l'obligation de restituer des prestations indues ou encore de l'obligation de réparer le dommage [<ref-law>]) n'était pas le titulaire de la créance en paiement de prestations (voir les arrêts cités dans l'arrêt <ref-ruling> consid. 2.4 p. 511 s.).
Contrairement au point de vue de la juridiction cantonale, cette jurisprudence n'est toutefois pas applicable dans le cas d'espèce, du moment que les débiteurs de l'administration sont également ses créanciers. Les époux, qui n'exercent aucune activité lucrative, sont en effet les débiteurs des cotisations AVS, lesquelles font partie des dépenses d'entretien de la famille au sens de l'<ref-law> (cf. DESCHENAUX/STEINAUER/BADDELEY, Les effets du mariage, 2ème éd. 2009, n. 420 p. 236; HAUSHEER/REUSSER/GEISER, in: Commentaire bernois, Das Familienrecht, 2ème éd. 1999, n. 19 et 23 ad <ref-law>; cf. aussi l'<ref-law> selon lequel les cotisations des conjoints n'exerçant pas d'activité lucrative sont calculées en fonction des conditions sociales du couple), et également les créanciers des allocations familiales en faveur de leurs enfants (<ref-law>; UELI KIESER/MARCO REICHMUTH, op. cit., n. 68 ss ad <ref-law>). Cela étant, dans la mesure où, en l'espèce, les intéressés sont en même temps créanciers et débiteurs de l'administration, les créances peuvent être compensées sans qu'il soit nécessaire d'examiner s'il existe une relation étroite entre les créances opposées en compensation.
Il est vrai qu'en l'occurrence, la Caisse cantonale genevoise de compensation, qui est créancière des cotisations AVS dues par les personnes n'exerçant aucune activité lucrative (<ref-law>), n'est pas en même temps la débitrice des allocations familiales. Celles-ci sont dues par la CAFNA, laquelle, bien que gérée par la caisse cantonale de compensation (art. 9 du règlement d'exécution de la loi cantonale sur les allocations familiales [RAF; RSG J 5 10.01]), est un établissement autonome de droit public (art. 18 al. 3 de la loi sur les allocations familiales du 1er mars 1996 [LAF; RSG J 5 10]). Le système de compensation des créances réglé à l'<ref-law> - auquel renvoie l'art. 25 let. d LAFam - n'exige cependant pas que le même assureur social soit en même temps créancier et débiteur de l'assuré (voir en particulier l'art. 20 al. 2 let. c LAVS, qui mentionne les créances en restitution d'autres assureurs sociaux que le débiteur des prestations AVS; cf. UELI KIESER, Alters- und Hinterlassenenversicherung, in: Schweizerisches Bundesverwaltungsrecht [SBVR], 2ème éd. 2007, n. 410 p. 1336 s.).
4.3.3 Vu ce qui précède, la CAFNA était fondée, par sa décision sur opposition du 30 septembre 2010, à compenser la dette de cotisation AVS des époux avec la créance de ceux-ci en paiement des allocations familiales échues. Quant au montant compensé (1'272 fr.) - qui correspond aux cotisations encore dues pour la période postérieure à celle pour laquelle la caisse de compensation a accordé la remise par sa décision du 21 juillet 2010 -, il n'est pas critiquable. Au demeurant, il ne fait l'objet d'aucune controverse entre les parties.
Les recours se révèlent ainsi bien fondés.
5. L'intimé, qui succombe, supportera les frais judiciaires (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1. Les causes 8C_161/2011 et 8C_179/2011 sont jointes.
2. Les recours sont admis et le jugement de la Chambre des assurances sociales de la Cour de justice de la République et canton de Genève du 20 janvier 2011 est annulé.
3. Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge de l'intimé.
4. Le présent arrêt est communiqué aux parties et à la Cour de justice de la République et canton de Genève, Chambre des assurances sociales.
Lucerne, le 6 janvier 2012
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
Le Président: Ursprung
Le Greffier: Beauverd