Faits :
A.
A.a. A._, née en 1971, a épousé B._, né en 1968, le 12 juin 2015. Celui-ci est père de trois enfants: C._, né en 1994 et domicilié à l'étranger, D._, né en 1995, et E._, née en 2002. Auparavant domiciliés dans le canton de U._, les époux se sont établis dans le canton de Vaud en juillet 2019.
Le 30 juillet 2019, A._ a adressé au Service des allocations familiales du Centre Patronal (ci-après: le Centre Patronal) une demande d'allocations familiales en faveur de D._, étudiant à l'Université de V._, pour le mois de mars 2019. Sur formulaire idoine, elle a indiqué qu'elle travaillait pour la société F._ SA à V._, depuis le 1er mai 2017. Dans le courrier accompagnant la demande, elle a précisé qu'à compter du 1er avril 2019, la Caisse de compensation de W._ versait les allocations familiales à son mari, employé à l'Université de W._. Elle a également produit des certificats médicaux dont il ressort que B._ s'était trouvé en incapacité de travail à 100 % du 23 février au 31 mars 2019, puis à 80 % du 1er au 30 avril 2019.
Par décision du 14 août 2019 (n° www), le Centre Patronal a octroyé à A._, pour l'enfant "D._", une allocation de 360 fr. dès le 1er mars 2019. Le même jour, le Centre Patronal a émis un certificat de radiation pour salariés supprimant cette prestation au 31 mars 2019.
Le 15 août 2019, A._ a formé opposition contre la décision n° www, faisant valoir que celle-ci ne respectait pas les dispositions du registre suisse des allocations s'agissant notamment de l'indication du prénom de l'enfant, qui était D._ [...].
A.b. Le 9 septembre 2019, le Centre Patronal a rendu deux autres décisions par lesquelles il reconnaissait à A._, pour l'enfant D._, le droit à un complément différentiel d'allocations familiales de 25 fr. par mois dès le 1er mai 2017 (n° xxx), respectivement de 70 fr. par mois dès le 1er avril 2019 (n° yyy). Le même jour, il a établi un certificat de radiation pour salariés supprimant le droit au complément différentiel de 25 fr. au 31 mars 2018.
A.c. Le 12 septembre 2019 (n° www), le Centre Patronal a adressé à A._ une nouvelle décision, qui précisait qu'elle annulait et remplaçait celle du 9 septembre 2019 (recte: 14 août 2019). Par cette décision, une allocation de 360 fr. lui était allouée dès le 1er janvier 2019 pour l'enfant D._. Le même jour, le Centre Patronal a établi un certificat de radiation pour salariés supprimant le droit à cette prestation au 31 mars 2019.
A.d. Par lettre du 8 octobre 2019, A._ s'est plainte au Centre Patronal de ce qu'aucune réponse n'avait été donnée à son opposition du 15 août 2019. Elle a également sollicité une explication sur le motif des versements successifs d'allocations familiales qu'elle avait reçus. Le 20 novembre 2019, le Centre Patronal lui a répondu qu'après un contrôle au registre sur les allocations familiales, il avait constaté que le 31 décembre 2018, la Caisse de compensation de W._ avait cessé de verser à son mari les prestations pour l'enfant D._, raison pour laquelle elle y avait droit pour la période du 1er janvier au 31 mars 2019; par ailleurs, à partir du 1er avril 2019, date à laquelle ladite caisse avait repris ses versements, elle pouvait bénéficier d'un complément différentiel dès lors que l'allocation de formation était plus élevée dans le canton de Vaud que dans le canton de W._.
A.e. Par décision du 26 novembre 2019 (n° zzz), le Centre Patronal a alloué à A._, pour l'enfant D._, un complément différentiel d'allocations familiales de 40 fr. par mois du 1er avril 2018 au 31 décembre 2018.
La prénommée a fait opposition contre la décision n° zzz. Elle y exposait en substance qu'elle était mariée à B._ depuis le 12 juin 2015 et qu'elle travaillait déjà à V._ à cette époque. Ils avaient assumé ensemble la garde exclusive des enfants D._ et E._ de juin 2008 à décembre 2018, de sorte qu'elle aurait droit à un complément différentiel en faveur des deux enfants pour une période antérieure au 1er avril 2018.
Le 27 janvier 2020, le Centre Patronal a rejeté l'opposition. En ce qui concernait l'enfant E._, A._ était invitée à déposer une demande d'allocations familiales.
B.
L'intéressée a recouru contre la décision sur opposition du 27 janvier 2020 devant la Cour des assurances sociales du Tribunal cantonal vaudois, en concluant à l'octroi d'un complément différentiel pour les enfants D._ et E._ dès le 1er juillet 2015. Le 20 avril 2020, B._ a présenté une "requête en intervention accessoire (<ref-law>) ".
Par arrêt du 28 juillet 2020 rendu dans la cause opposant A._ au Centre Patronal, la cour cantonale a rejeté le recours dans la mesure où il était recevable.
C.
A._ et B._ interjettent conjointement - soit par un seul acte - un recours en matière de droit public contre cet arrêt, en concluant à son annulation et au renvoi de la cause à l'autorité cantonale afin qu'elle rende "une nouvelle ordonnance sujette à recours sur la requête d'intervention déposée par B._, d'une part, et sur le recours, d'autre part".
Il n'a pas été ordonné d'échanges d'écritures.

Considérant en droit :
1.
1.1. Dans l'arrêt entrepris, la cour cantonale a retenu que l'objet de la contestation était limité à la décision sur opposition rendue le 27 janvier 2020 par le Centre Patronal, de sorte que les conclusions de A._ tendant à se voir reconnaître le droit à un complément différentiel d'allocations familiales en faveur de l'enfant E._ étaient irrecevables; le litige portait uniquement sur le point de départ du complément différentiel dû à A._ pour l'enfant D._, la prénommée ayant conclu à l'octroi de cette prestation depuis le 1er juillet 2015. Cela posé, la cour cantonale a préalablement examiné la requête "en intervention accessoire" de B._, qu'elle a traitée comme une requête d'intervention au sens de l'art. 14 de la loi [du canton de Vaud] sur la procédure administrative du 28 octobre 2008 (LPA-VD; BLV 173.36); elle a rejeté cette requête au considérant 3 de son arrêt, sans toutefois reprendre ce point dans le dispositif. Sur le fond, elle a rejeté le recours de A._ dans la mesure de sa recevabilité et confirmé la décision sur opposition du 27 janvier 2020.
1.2. Au vu de ce qui précède et des conclusions prises par les recourants (cf. let. C supra), il existe devant le Tribunal fédéral deux causes, l'une divisant A._ d'avec le Centre Patronal (8C_506/2020) et l'autre divisant B._ d'avec le Tribunal cantonal vaudois (8C_506/2021). Ces deux causes portant sur le même arrêt et concernant un même complexe de faits, il se justifie de les joindre et de statuer sur les recours de A._ et de B._ par un seul arrêt (<ref-ruling> consid. 1.2; <ref-ruling> consid. 1).
2.
Le Tribunal fédéral examine d'office sa compétence (<ref-law>) et contrôle librement la recevabilité des recours qui lui sont soumis (<ref-ruling> consid. 2.1; <ref-ruling> consid. 2).
2.1. L'arrêt attaqué constitue une décision finale (<ref-law>) rendue par une autorité cantonale de dernière instance (art. 86 al. 1 let. d LTF) dans une cause de droit public (<ref-law>). La voie du recours en matière de droit public est donc en principe ouverte. Par ailleurs, le recours a été déposé en temps utile (<ref-law>).
2.2. Selon l'<ref-law>, a qualité pour former un recours en matière de droit public quiconque a pris part à la procédure devant l'autorité précédente ou a été privé de la possibilité de le faire (let. a), est particulièrement atteint par la décision ou l'acte normatif attaqué (let. b), et a un intérêt digne de protection à son annulation ou à sa modification (let. c). Ces conditions sont cumulatives (<ref-ruling> consid. 2.2).
A._ (ci-après: la recourante) est destinataire de l'arrêt entrepris, qui rejette ses conclusions, et a un intérêt digne de protection à son annulation ou à sa modification. Elle dispose ainsi de la qualité pour recourir au sens de l'<ref-law>.
Quant à B._ (ci-après: le recourant), il n'a pas participé à la procédure devant la Cour des assurances du Tribunal cantonal vaudois et n'est pas destinataire de l'arrêt entrepris. Il n'a donc en principe pas la qualité pour recourir en son nom propre contre cet arrêt. Dans la mesure toutefois où il fait valoir que la cour cantonale lui a dénié à tort la qualité de partie, on peut admettre qu'il dispose de la qualité pour recourir pour contester ce point de l'arrêt entrepris (cf. <ref-ruling> consid. 3.3.1 et 4; arrêt 2C_53/2017 du 21 juillet 2017 consid. 1.3.2).
2.3. Il y a dès lors lieu d'entrer en matière dans cette mesure, étant précisé que les différentes écritures et pièces déposées par les recourants après l'échéance du délai de recours sont irrecevables (art. 99 et 100 LTF).
3.
3.1. Le recours en matière de droit public peut être formé pour violation du droit fédéral, notion qui inclut le droit constitutionnel (<ref-law>; <ref-ruling> consid. 1.4). Le Tribunal fédéral applique le droit d'office (<ref-law>). Cependant, compte tenu de l'exigence de motivation contenue à l'art. 42 al. 1 et 2 LTF, sous peine d'irrecevabilité (<ref-law>), le Tribunal fédéral n'examine en principe que les griefs invoqués, sauf en cas d'erreurs juridiques manifestes (<ref-ruling> consid. 1.2 et les références). Par ailleurs, sauf exceptions non pertinentes en l'espèce (cf. art. 95 let. c, d et e LTF), on ne peut pas invoquer la violation du droit cantonal en tant que tel devant le Tribunal fédéral (<ref-law> a contrario). Il est néanmoins possible de faire valoir que son application viole le droit fédéral, en particulier l'interdiction de l'arbitraire (art. 9 Cst.) ou d'autres droits constitutionnels (<ref-ruling> consid. 4.4.1). Le Tribunal fédéral n'examine alors de tels moyens que s'ils sont formulés conformément aux exigences de motivation qualifiée prévues à l'<ref-law> (<ref-ruling> consid. 3.2 et la référence).
3.2. On ajoutera que le Tribunal fédéral conduit son raisonnement juridique sur la base des faits établis par l'autorité précédente (<ref-law>). Il ne peut s'en écarter que si les faits ont été établis de façon manifestement inexacte - notion qui correspond à celle d'arbitraire au sens de l'art. 9 Cst. (<ref-ruling> consid. 2.3.1; sur la notion d'arbitraire, cf. <ref-ruling> consid. 4.2) - ou en violation du droit au sens de l'<ref-law> (<ref-law>). Si la partie recourante entend s'écarter des constatations de fait de l'autorité précédente, elle doit expliquer de manière circonstanciée en quoi les conditions de l'<ref-law> seraient réalisées et la correction du vice susceptible d'influer sur le sort de la cause (<ref-law>); à défaut, un état de fait divergent de celui de la décision attaquée ne peut pas être pris en compte (<ref-ruling> consid. 2).
4.
On examinera en premier lieu le recours de B._.
4.1. Comme on l'a dit plus haut (cf. consid. 1.1 supra), la cour cantonale a traité la requête d'intervention du recourant au considérant 3 de son arrêt. A cet égard, elle a rappelé que selon l'art. 14 LPA-VD, l'autorité peut, d'office ou sur requête, appeler en cause ou autoriser l'intervention de personnes qui pourraient avoir qualité de partie au sens de l'art. 13 LPA-VD. Selon l'alinéa 1 de cette disposition, ont qualité de parties en procédure administrative: les personnes susceptibles d'être atteintes par la décision à rendre et qui participent à la procédure (let. a); les personnes ou autorités auxquelles la loi confère la qualité de partie (let. b); les personnes ou autorités qui disposent d'un moyen de droit à l'encontre de la décision attaquée (let. c); les personnes intervenant dans une procédure d'enquête publique ou de consultation (let. d). En l'espèce, la cour cantonale a nié que l'une des conditions (alternatives) précitées fût remplie en ce qui concernait B._, lequel se prévalait de sa qualité d'époux chef de famille à l'appui de sa requête d'intervention. Peu importait en effet la hiérarchie entre les membres de la famille. B._ - dont le droit prioritaire à l'allocation familiale pour D._ durant la période déterminante (avril à décembre 2018) n'était pas remis en cause - n'était pas visé par la décision attaquée, dont les effets atteignaient exclusivement A._ en tant que second ayant droit, et D._ en tant que bénéficiaire de la prestation. Dans ces conditions, la requête d'intervention ne pouvait qu'être rejetée.
4.2. Le recourant reproche à la cour cantonale de ne pas avoir statué sur sa requête d'intervention par une ordonnance distincte notifiée à sa personne et d'avoir ainsi violé les obligations légales qui lui incombaient, en particulier les art. 3, 42 et 44 LPA-VD ainsi que les art. 4 et 44 de la loi fédérale sur la procédure administrative du 20 décembre 1968 (PA; RS 172.021). Par ailleurs, en choisissant de "prendre position" sur cette requête uniquement dans le cadre de l'arrêt au fond rendu sur le recours, procédure dont il était exclu, la cour cantonale l'aurait privé de la possibilité de défendre "les intérêts dignes de protection de sa famille", ce qui constituerait une violation de son droit d'être entendu (art. 29 Cst.) et de la garantie de l'accès au juge (art. 29a Cst.). Or il aurait un intérêt juridique à intervenir contrairement à l'avis de la cour cantonale, dans la mesure où "en cas de perte du procès par son épouse A._, [ses] droits aux bonifications de son AVS des tâches éducatives (assumées en faveur de ses enfants D._ et E._) pour la période concernée par la demande de complément des allocations familiales pourraient être lésés ou compromis".
4.3. En l'occurrence, le recourant ne conteste pas avoir pris connaissance de la motivation de la cour cantonale rappelée ci-dessus. Il ne fait pas de doute qu'il a compris que cette dernière a rejeté sa requête d'intervention, même si elle n'a pas mentionné ce point dans le dispositif, puisqu'il a recouru en temps utile contre cet aspect de l'arrêt entrepris. En ce sens, le recourant n'a pas subi de préjudice procédural du fait que la cour cantonale a traité sa requête d'intervention dans l'arrêt rendu au fond sur le recours de son épouse. Le recourant ne cite au demeurant aucune disposition de la LPA-VD qui obligerait la cour cantonale à statuer sur une requête d'intervention par une ordonnance distincte. Quant aux art. 4 et 44 PA, ils ne s'appliquent pas à la procédure devant les autorités cantonales de dernière instance qui ne statuent pas définitivement en vertu du droit public fédéral (voir <ref-law>). Pour le reste, dès lors que la cour cantonale a rejeté sa requête d'intervention en se fondant sur l'art. 14 en lien avec l'art. 13 LPA-VD, il appartenait au recourant de démontrer en quoi ces règles du droit cantonal de procédure administrative auraient été appliquées en violation des droits constitutionnels qu'il invoque. Or le recourant ne fait valoir aucune norme qui lui reconnaîtrait, en sa qualité de "mari chef de famille" au sens de l'ancien <ref-law> - disposition abrogée au 1er janvier 1988 avec le nouveau droit matrimonial (RO 1986 122; Message concernant la révision du Code civil suisse [Effets généraux du mariage, régimes matrimoniaux et successions] du 11 juillet 1979, FF 1979 II 1232) -, le droit d'intervenir dans une procédure de recours contre une décision portant sur le droit de son épouse à un complément différentiel d'allocations familiales, et un tel droit ne saurait être déduit directement ni de l'art. 29 Cst. ni de l'art. 29a Cst.
4.4. Il s'ensuit que le recours de B._ doit être rejeté dans la mesure où il est recevable.
5.
Il reste à examiner le recours de A._.
5.1. Dans un premier moyen, la recourante reproche à la cour cantonale d'avoir établi les faits de façon manifestement inexacte, en tant qu'elle a constaté que D._ et E._ "séjournent en Suisse et y poursuivent une formation". Selon la recourante, cette constatation, qui donnerait à croire que les enfants précités seraient des ressortissants étrangers, serait de nature à "introduire un doute quant au bien-fondé de la réclamation du versement rétroactif du complément différentiel à compter du 1er juillet 2015 en faveur de D._ et E._".
Par cette argumentation, la recourante ne démontre pas en quoi la correction du vice soulevé serait susceptible d'influer sur le sort de la cause (cf. consid. 3.2 supra) et on ne voit au demeurant pas que tel pourrait être le cas, de sorte qu'il n'y a pas lieu de s'écarter de l'état de fait établi par l'autorité précédente.
5.2.
5.2.1. Dans un second moyen, la recourante soutient que la loi fédérale du 24 mars 2006 sur les allocations familiales [LAFam; RS 836.2] prévoit le versement des prestations à titre rétroactif. Le paiement du complément différentiel pour les deux enfants à compter du 1er juillet 2015 était donc "légitime et légalement fondé", d'autant plus que le versement des arriérés avait déjà été partiellement exécuté par l'intimé. Elle relève également que le Centre Patronal avait rendu à son égard près d'une demi-dizaine de décisions d'octroi et de radiation de prestations se succédant les unes aux autres et qu'elle avait cru de bonne foi que la dernière décision annulait toutes les autres.
5.2.2. En l'espèce, la cour cantonale a constaté que l'intimé avait statué sur les prétentions de A._ par le biais de plusieurs décisions, mais que seule la décision sur opposition du 27 janvier 2020 confirmant le prononcé du 26 novembre 2019 avait été attaquée devant elle. Ce prononcé portait sur le droit de la prénommée à un complément différentiel en faveur de son beau-fils pour la période du 1er avril au 31 décembre 2018. Aucune autre décision n'avait été soumise à l'examen de la juridiction cantonale. Malgré la succession de décisions rendues par le Centre Patronal - qui se rapportaient au demeurant à des périodes différentes -, la recourante pouvait comprendre qu'elle ne s'était pas opposée à la décision du 9 septembre 2019 fixant le dies a quo du complément différentiel au 1er mai 2017. Aussi la cour cantonale a-t-elle jugé qu'elle n'avait pas à se prononcer sur les prestations versées en dehors du cadre temporel tel que défini par la décision attaquée, ni à prendre en considération les éléments apportés par la recourante concernant les périodes étrangères à ce cadre.
Par surabondance, la cour cantonale a encore relevé que conformément au système légal, pour les salariés au service d'un employeur assujetti qui étaient obligatoirement assurés à l'AVS, le droit à l'allocation familiale, y compris le complément différentiel, naissait avec le droit au salaire (<ref-law>). La fixation par l'intimé du dies a quo au 1er mai 2017 n'était donc pas contraire au droit, puisque cette date avait été fixée en considération du fait que la recourante travaillait depuis le 1er mai 2017 pour la société F._ et que c'était uniquement à ce titre qu'elle pouvait prétendre au complément différentiel en tant que second ayant droit en application de l'<ref-law>.
5.2.3. La cour cantonale a ainsi adopté une double motivation. Or, lorsque l'arrêt entrepris repose sur une double motivation dont chaque pan est indépendant et suffit à sceller l'issue de la procédure cantonale, il importe, sous peine d'irrecevabilité, de discuter chacune de ces deux motivations (<ref-ruling> consid. 2.4). En l'occurrence, force est de constater que la recourante ne développe aucune argumentation conforme aux exigences requises en lien avec la double motivation qui a amené la cour cantonale à la débouter de ses conclusions au fond. Partant, son recours est irrecevable.
5.3.
Vu l'issue des recours, les frais judiciaires sont mis à la charges des recourants, solidairement entre eux (art. 66 al. 1 et 5 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours de B._ (8C_506/2021) est rejeté dans la mesure où il est recevable.
2.
Le recours de A._ (8C_506/2020) est irrecevable.
3.
Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge des recourants, solidairement entre eux.
4.
Le présent arrêt est communiqué aux parties et à l'Office fédéral des assurances sociales.
Lucerne, le 26 juillet 2021
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
Le Juge présidant : Wirthlin
La Greffière : von Zwehl