Faits : A. Les époux A.A._ et B.A._ sont locataires d'un appartement de cinq pièces sis à la rue C._, à U._. Ils partagent ce logement avec leur fille D._. L'appartement se situe dans un immeuble de catégorie HLM (habitation à loyer modéré) qui est sorti de l'aide étatique et du contrôle des loyers le 31 décembre 2011. Le loyer annuel est de 22'332 fr. (24'672 fr. charges comprises), soit 1'861 fr. par mois (respectivement 2'056 fr.) . A.A._ est bénéficiaire d'une rente entière de l'assurance-invalidité de 18'984 fr. par an, ainsi que d'une rente du deuxième pilier de 23'054 fr. (année de référence 2012). Son épouse n'exerce pas d'activité lucrative. En sa qualité de bénéficiaire d'une rente de l'assurance-invalidité, A.A._ s'est vu reconnaître le droit à des prestations complémentaires (928 fr. par mois) régi par la loi [de la République et canton de Genève] du 25 octobre 1968 sur les prestations complémentaires cantonales (LPCC; rs/GE J 4 25). Le total des dépenses reconnues s'élevait à 70'931 fr., soit 54'944 fr. au titre de forfait pour les besoins vitaux de la famille, 15'000 fr. au titre de loyer et 986 fr. au titre de cotisations AVS/AI/APG (chiffres pour l'année 2013). Le revenu déterminant comportait notamment les rentes de l'assurance-invalidité et du deuxième pilier, les allocations familiales, ainsi qu'un montant de 20'702 fr. au titre de revenu potentiel que l'épouse serait apte à réaliser si elle exerçait une activité lucrative. B. Le 22 décembre 2011, l'Office cantonal genevois du logement (ci-après: OLO) a accordé aux époux A.A._ et B.A._ une allocation de logement mensuelle de 416 fr. 65 pour la période du 1 er janvier 2012 au 31 mars 2013. Le renouvellement de cette allocation à son échéance était soumis, notamment, à leur inscription comme demandeurs de logement auprès de l'OLO et la preuve de démarches actives en vue de trouver un logement moins onéreux pendant cette période. Le 16 avril 2013, l'OLO a renouvelé le versement de cette allocation. Le 10 mai 2013, il a reçu des époux A.A._ et B.A._ une copie d'une décision du Service cantonal des prestations complémentaires relative au droit du mari auxdites prestations. Par décision du 21 juin 2013, confirmée sur réclamation le 8 août 2013, l'OLO a supprimé l'allocation de logement avec effet au 1 er juin 2013, au motif que le cumul de cette allocation avec les prestations complémentaires fédérales et cantonales était exclu selon la législation en vigueur depuis le 1 er avril 2013. C. Les époux A.A._ et B.A._ ont recouru contre la décision sur opposition devant la Cour de justice de la République et canton de Genève (Chambre administrative), laquelle a rejeté le recours par jugement du 10 décembre 2013. D. A.A._ et B.A._ exercent un recours constitutionnel subsidiaire dans lequel ils concluent à l'annulation de l'arrêt attaqué et au versement par l'OLO de l'allocation de logement avec effet au 1 er mai 2013. L'Office cantonal du logement et de la planification foncière conclut principalement à l'irrecevabilité du recours, subsidiairement à son rejet. La juridiction cantonale se réfère à son jugement.