Faits : A. Par décisions du 9 juin 2011, confirmées sur opposition le 18 avril 2013, l'Hospice général du canton de Genève a réclamé d'une part à A._ la restitution d'un montant de 46'478 fr. 45 représentant des prestations d'aide financière perçues durant la période du 1 er août 2006 au 31 janvier 2008 et, d'autre part, au prénommé et à son épouse B._, la restitution d'un montant de 6'626 fr. 20 représentant des prestations d'aide financière perçues durant la période du 1 er janvier 2010 au 31 mars 2010. B. Saisie d'un recours contre les décisions sur opposition du 18 avril 2013, la Chambre administrative de la Cour de justice de la République et canton de Genève l'a rejeté par jugement du 4 février 2014. C. A._ interjette un recours en matière de droit public contre ce jugement. Il conclut principalement à son annulation, subsidiairement à ce que le montant à rembourser ne soit pas supérieur à 13'243 fr. 50 et, plus subsidiairement encore, à ce que la cause soit renvoyée à l'instance précédente pour nouvelle décision dans le sens des considérants. L'Hospice général du canton de Genève conclut au rejet du recours.