Faits : A. A.a. A._, né en 1965, n'exerce plus d'activité lucrative depuis le 1 er octobre 2007. Il s'est vu refuser une rente de l'assurance-invalidité. Son épouse, B._, née en 1972, est quant à elle au bénéfice d'une rente entière de l'assurance-invalidité depuis le 1 er février 2004. Les époux ont trois enfants, C._, né en 1994, D._, née en 1998, et E._, né en 2009. A.b. Le 1 er septembre 2011, B._ a présenté une demande de prestations complémentaires à l'AVS/AI. Par trois décisions du 20 mars 2012, la Caisse de compensation du canton du Valais a rejeté cette demande au motif que le montant du revenu déterminant était supérieur à celui des dépenses. Pour le mois de septembre 2011, la caisse a tenu compte des indemnités de l'assurance-chômage que l'époux aurait pu percevoir (décision n° 1). A partir du 1 er octobre 2011 (décisions n os 2 et 3), elle a pris en compte un revenu hypothétique net de 22'355 fr. par an qu'il aurait pu réaliser en mettant à profit sa capacité de travail. Les allocations familiales auxquelles il aurait pu prétendre en qualité de salarié ont également été portées en compte, par 12'900 fr. par an. Il en résultait un excédent de revenus de 30'718 fr. pour la période du 1 er septembre au 30 septembre 2011 et de 6'944 fr. pour la période du 1 er octobre au 31 décembre 2011, ainsi qu'à partir du 1 er janvier 2012. La décision n° 1 précisait toutefois que l'intéressée avait droit à un subside annuel pour le paiement des primes de l'assurance-maladie jusqu'à concurrence du montant de la prime cantonale moyenne. Les décisions n os 2 et 3 mentionnaient d'autre part que les frais de maladie non couverts par l'assurance-maladie obligatoire pouvaient être pris en charge par la caisse de même que les frais dentaires. Le refus de la caisse a été confirmé en dernière instance par le Tribunal fédéral (arrêt 9C_653/2013 du 30 décembre 2013). A.c. Auparavant, le 1 er juillet 2011, A._ avait présenté à la même caisse de compensation une demande d'allocations familiales pour personnes sans activité lucrative. La caisse a rejeté sa demande par décision du 28 mars 2012 au motif que son épouse percevait des prestations complémentaires sous la forme de subventions pour les primes d'assurance-maladie et de remboursements des frais de soins et de maladie. Saisie d'une opposition formée par A._, la caisse l'a partiellement admise en lui reconnaissant le droit à des allocations familiales jusqu'au 30 septembre 2011 (décision du 9 juillet 2012). B. A._ a recouru devant le Tribunal cantonal du Valais (Cour des assurances sociales) contre la décision sur opposition du 9 juillet 2012. Statuant le 11 juillet 2013, le Tribunal cantonal a rejeté son recours. C. A._ interjette un recours en matière de droit public dans lequel il conclut à l'annulation de l'arrêt cantonal et au versement d'allocations familiales dès le 1 er octobre 2011. A titre subsidiaire, il conclut au renvoi de la cause à l'autorité précédente ou à la caisse de compensation pour le calcul de son droit à des allocations familiales. Il demande en outre le bénéfice de l'assistance judiciaire gratuite. La caisse de compensation a conclu au rejet du recours. L'Office fédéral des assurances sociales a renoncé à se déterminer.