Faits :
A.
De l'union entre A._ et B._ sont nés C._, en 2001, et D._, en 2005. A la suite du divorce du couple en 2006, la garde ainsi que l'entretien des enfants ont été confiés à la mère, tandis que l'autorité parentale est exercée conjointement. A._ s'est remarié en 2008 avec E._. Deux enfants jumeaux, F._ et G._, sont nés de ce mariage en 2010. A compter du mois d'octobre 2011, en raison de la cessation de l'activité lucrative de son ex-épouse, A._, employé à H._ par le Département fédéral I._, a obtenu de la part de la Caisse fédérale de compensation (CFC) le versement des allocations familiales en faveur de ses deux enfants aînés, C._ et D._. Informée du fait que la mère de ceux-ci avait repris un emploi auprès d'une banque district de J._ à partir du 1er août 2014, la CFC a mis fin au versement des allocations susmentionnées au père dès le 31 juillet suivant. Par notification d'allocations familiales du 11 juillet 2014, elle a informé A._ qu'elle fixait désormais à 230 fr. le montant mensuel (antérieurement de 370 fr.) de chacune des allocations familiales qui lui était versée pour les enfants F._ et G._.
Après un échange de correspondance avec A._, la CFC a rendu le 6 janvier 2015 une décision confirmant ces montants. Il y était précisé qu'il ne remplissait plus les conditions légales pour percevoir le supplément d'allocation à partir du troisième enfant prévu par le droit cantonal vaudois, ce qui expliquait la différence des montants reçus par l'intéressé pour ses enfants cadets après le 1er août 2014. Saisie d'une opposition, la CFC l'a rejetée dans une nouvelle décision du 23 mars 2015.
B.
Par arrêt du 21 juin 2016, la Cour des assurances sociales du Tribunal cantonal vaudois a rejeté le recours formé par A._ contre la décision sur opposition de la CFC.
C.
A._ interjette un recours en matière de droit public et un recours constitutionnel subsidiaire, en concluant à ce que le jugement cantonal soit réformé en ce sens que le montant des allocations familiales en faveur de ses enfants F._ et G._ reste fixé pour chacun à 370 fr. par mois.
La CFC propose le rejet du recours. La cour cantonale a renoncé à se déterminer.

Considérant en droit :
1.
Le jugement attaqué est une décision finale (<ref-law>), rendue dans une cause de droit public (<ref-law>) par une autorité cantonale de dernière instance (art. 86 al. 1 let. d LTF) et qui ne tombe pas sous le coup d'une exception de l'<ref-law>, de sorte qu'il peut faire l'objet d'un recours en matière de droit public au Tribunal fédéral. Le recours constitutionnel subsidiaire est dès lors irrecevable (<ref-law>).
2.
2.1. L'allocation familiale comprend l'allocation pour enfant et l'allocation de formation professionnelle qui est octroyée au plus tard, en cas de formation, jusqu'à l'âge de 25 ans (art. 3 al. 1 de la loi fédérale du 24 mars 2006 sur les allocations familiales [LAFam; RS 836.2]). Selon l'<ref-law>, les cantons peuvent prévoir dans leur régime d'allocations familiales des taux minimaux plus élevés pour l'allocation pour enfant et l'allocation de formation professionnelle que ceux prévus à l'art. 5 (respectivement 200 fr. et 250 fr.), ainsi qu'une allocation de naissance et une allocation d'adoption; les dispositions de la LAFam sont également applicables à ces allocations: toute autre prestation est réglée et financée en dehors du régime des allocations familiales.
Selon l'<ref-law>, donnent droit aux allocations: les enfants avec lesquels l'ayant droit a un lien de filiation en vertu du code civil (let. a); les enfants du conjoint de l'ayant droit (let. b); les enfants recueillis (let c); les frères, soeurs et petits-enfants de l'ayant droit, s'il en assume l'entretien de manière prépondérante (let. d).
L'<ref-law> prévoit que le même enfant ne donne pas droit à plus d'une allocation du même genre (interdiction du cumul). L'<ref-law> instaure par ailleurs un ordre de priorité en cas de cumul de droits à des prestations familiales. Il est ainsi libellé:
1 Lorsque plusieurs personnes peuvent faire valoir un droit aux allocations familiales pour le même enfant en vertu d'une législation fédérale ou cantonale, le droit aux prestations est reconnu selon l'ordre de priorité suivant:
a. à la personne qui exerce une activité lucrative;
b. à la personne qui détient l'autorité parentale ou qui la détenait jusqu'à la majorité de l'enfant;
c. à la personne chez qui l'enfant vit la plupart du temps ou vivait jusqu'à sa majorité;
(...)
2.2. Le législateur vaudois a adopté la loi d'application de la loi fédérale sur les allocations familiales et sur des prestations cantonales en faveur de la famille du 28 septembre 2008 (LVLAFam; RS/VD 836.01). Dans son état en vigueur entre le 1er janvier 2009 et le 31 août 2016, cette loi prévoit que le montant minimum de l'allocation pour enfant s'élève à 200 fr. Il est fixé à 230 fr. à compter du 1er janvier 2014 et à 250 fr. dès le 1er janvier 2017 (art. 3 al. 1). Ces montants sont augmentés de 170 fr. au minimum dès et y compris le troisième enfant, respectivement de 140 fr. dès le 1er janvier 2014 et de 150 fr. dès le 1er janvier 2017 (art. 3 al. 1ter).
Selon l'article premier du Règlement concernant la loi d'application de la loi fédérale sur les allocations familiales et sur des prestations cantonales en faveur de la famille du 29 octobre 2008 (RLVLAFam; RS/VD 836.01.1), l'allocation augmentée au sens de l'article 3, alinéa 1ter, de la loi est octroyée dès la 3ème allocation familiale versée à l'ayant droit (al. 1). L'allocation augmentée est également octroyée sur requête de l'ayant droit dès le troisième enfant pour lequel il peut faire valoir un droit aux allocations familiales au sens de l'article 4 LAFam à la condition que ces enfants vivent la plupart du temps dans le foyer de l'ayant droit ou y ont vécu jusqu'à leur majorité. Le droit au versement de l'allocation augmentée existe indépendamment du droit au versement des allocations familiales pour les enfants précédant le troisième (al. 2). Dans des situations particulières, la demande d'allocation augmentée d'un ayant droit avec au moins trois enfants à charge qui ne remplit pas les conditions de l'alinéa 2, peut être adressée par l'ayant droit ou la caisse au Fonds cantonal pour la famille (al. 2bis).
3.
3.1. Sans que cela soit remis en cause par le recourant, les juges cantonaux ont considéré que l'allocation augmentée prévue par la législation du canton de Vaud (art. 3 al. 1ter LVLAFam) ne constitue pas une prestation étrangère au régime des allocations familiales qui en serait exclue selon les dispositions de l'art. 3 al. 2, 3ème phrase, LAFam. Ils ont également constaté qu'à la suite de la reprise d'une activité lucrative par son ex-épouse, le recourant a perdu au profit de cette dernière (en vertu de l'art. 7 al. 1 let. c LAFam) sa qualité d'ayant droit pour les allocations familiales en faveur des enfants C._ et D._, de sorte qu'il ne peux plus faire valoir de droit aux allocations familiales que pour deux enfants. Or, l'allocation augmentée du régime cantonal n'était octroyée qu'à compter de la troisième allocation versée à l'ayant droit (art. 1 al. 1 RLVLAFam), sans dérogation possible pour des enfants de famille recomposée qui ne vivent pas sous le même toit (art. 1 al. 2 RLVAFam). Ce point n'est pas non plus contesté par l'intéressé.
3.2. Le recourant soutient pour l'essentiel que le jugement entrepris est entaché d'arbitraire en tant qu'il ne reposerait pas sur des motifs sérieux et objectifs et qu'il léserait, de manière choquante, le sentiment d'équité. Il relève qu'il est toujours père de quatre enfants et que sa situation économique n'a pas changé, si bien que la diminution du montant des allocations familiales en faveur de ses enfants ne se justifierait pas rationnellement.
4.
4.1. Le recours en matière de droit public peut être formé pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (<ref-law>), sans être limité par les arguments de la partie recourante ou par la motivation de l'autorité précédente (cf. <ref-ruling> consid. 1.4 p. 140). Il n'examine en principe que les griefs invoqués, compte tenu de l'exigence de motivation prévue à l'<ref-law>, et ne peut aller au-delà des conclusions des parties (<ref-law>).
4.2. Sous réserve des cas cités à l'art. 95 let. c à e LTF qui n'entrent pas en considération dans le cas particulier, le recours ne peut pas être formé pour violation du droit cantonal. En revanche, il est toujours possible de faire valoir que la mauvaise application du droit cantonal constitue une violation du droit fédéral, en particulier qu'elle est arbitraire au sens de l'art. 9 Cst. ou contraire à d'autres droits ou principes constitutionnels (<ref-ruling> consid. 3 p. 351; <ref-ruling> consid. 2.3 p. 466). Appelé à revoir l'interprétation d'une norme cantonale sous l'angle de l'arbitraire, le Tribunal fédéral ne s'écarte de la solution retenue par l'autorité cantonale de dernière instance que si celle-ci apparaît insoutenable, en contradiction manifeste avec la situation effective, adoptée sans motifs objectifs et en violation d'un droit certain. En revanche, si l'application de la loi défendue par l'autorité cantonale ne s'avère pas déraisonnable ou manifestement contraire au sens et au but de la disposition ou de la législation en cause, cette interprétation sera confirmée, même si une autre solution éventuellement plus judicieuse paraît possible (<ref-ruling> consid. 2.4 p. 5; <ref-ruling> consid. 4.2 p. 560).
5.
En l'espèce, il est douteux que le recours contienne une motivation suffisante puisque celle-ci se résume pratiquement à qualifier d'absurde et d'arbitraire la solution adoptée par la CFC - et confirmée par les juges précédents - selon laquelle il y a lieu de prendre en compte non pas l'ensemble des enfants d'une personne, mais les enfants pour lesquels la personne a droit à des allocations familiales.
Ce point n'a cependant pas à être examiné plus avant, car, de toute façon, le recours se révèle mal fondé. Avec raison, la cour cantonale s'est référée à l'arrêt 8C_601/2013 du 29 octobre 2014. Dans cet arrêt, le Tribunal fédéral a rappelé que le droit à l'allocation n'est pas lié à l'enfant pour lequel elle est versée, mais bien plutôt à la personne qui exerce une activité lucrative, respectivement à celle qui n'en a pas, et qui remplit les conditions requises. A propos du supplément d'allocation accordé aux familles nombreuses par le droit cantonal genevois, il a relevé que celui-ci est une composante de l'allocation familiale de base dont il est un accessoire et que par conséquent, sauf dérogation, le nombre d'enfants pris en considération pour l'octroi du supplément est celui des enfants donnant droit aux allocations pour un même ayant droit (arrêt précité, consid. 4.2.1). Dans ce même arrêt, le Tribunal fédéral a encore constaté que la LAFam ne contient pas de dispositions qui régleraient spécialement le versement d'un supplément pour famille nombreuse en fonction de la diversité des liens familiaux, plus particulièrement dans le cas de familles dites recomposées et que, sur ce point, une certaine marge d'appréciation doit donc être réservée aux cantons (consid. 4.2.2). Il en a conclu qu'il appartient au législateur cantonal, s'il entend tenir compte de la diversité des liens familiaux, de définir les exceptions aux règles générales sur la priorité des ayants droit (consid. 4.2.3).
En l'occurrence, la solution adoptée par la cour cantonale, qui s'est fondée sur les normes fédérales et cantonales applicables interprétées à l'aune de ce qui a été dit ci-dessus, ne peut en rien apparaître comme arbitraire au sens rappelé plus haut (consid. 4.2).
6.
Vu ce qui précède, le recours se révèle mal fondé. Le recourant, qui succombe, supportera les frais judiciaires (<ref-law>). Bien qu'elle obtienne gain de cause, l'intimée n'a pas droit à des dépens (<ref-law>; arrêt 8C_269/2011 du 18 octobre 2011, consid. 5 non publié in <ref-ruling>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours constitutionnel subsidiaire est irrecevable.
2.
Le recours en matière de droit public est rejeté.
3.
Les frais de justice, arrêtés à 500 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties, au Tribunal cantonal du canton de Vaud, Cour des assurances sociales, et à l'Office fédéral des assurances sociales.
Lucerne, le 8 mars 2017
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
Le Président : Maillard
La Greffière : von Zwehl