Faits : A. B._ est propriétaire de la parcelle n° xxx du registre foncier de la commune de U._, située en zone de développement 5 (zone superposée) sur zone de fond agricole (zone de fond). Ce bien-fonds supporte un bâtiment construit au début du XX ème siècle et utilisé à l'époque comme gendarmerie. Le 27 septembre 2011, B._ et la société A._ Sàrl ont sollicité l'autorisation de construire des logements, une surface commerciale et un parking de dix places sur cette parcelle. Par décision du 31 juillet 2012, le Département de l'urbanisme du canton de Genève (devenu le Département de l'aménagement, du logement et de l'énergie; ci-après: le Département) a refusé l'autorisation sollicitée, au motif que la construction sollicitée n'était ni destinée à une activité agricole, ni destinée au logement de personnes exerçant une telle activité; de plus, le projet ne pouvait être autorisé en application des art. 24 aLAT et 27 de la loi d'application genevoise de la loi fédérale sur l'aménagement du territoire du 4 juin 1987 (LaLAT; RSG L 1 30), dans la mesure où aucun motif n'imposait que les travaux envisagés, destinés à l'habitation, soient entrepris à cet emplacement; enfin, une dérogation au sens des art. 24c aLAT et 27c LaLAT ne pouvait être octroyée car la limitation de l'agrandissement total à un maximum de 30% du volume bâti existant était dépassée. B._ et A._ Sàrl ont interjeté un recours contre cette décision auprès du Tribunal administratif de première instance du canton de Genève. Après avoir procédé à une inspection locale en décembre 2012 et tenu une audience d'enquête en avril 2013, celui-ci a rejeté le recours par jugement du 26 mai 2013. La Chambre administrative de la Cour de justice du canton de Genève (ci-après: la Cour de justice ou la cour cantonale) a rejeté le recours dirigé contre ce jugement, par arrêt du 1 er juillet 2014. Elle a considéré en substance que les surfaces de 12,1 m 2 au rez-de-chaussée et de 20 m 2 dans les combles ne devaient pas être comptabilisées dans la surface brute de plancher utile (SBPU) du bâtiment existant et qu'il en suivait que la dérogation de l'art. 24c aLAT ne pouvait être octroyée. B. Agissant par la voie du recours en matière de droit public, B._ et A._ Sàrl demandent au Tribunal fédéral d'annuler l'arrêt attaqué, de constater que le droit d'être entendu des recourants a été violé et de renvoyer le dossier à l'instance précédente pour nouvelle décision au sens des considérants. La Cour de justice renonce à se déterminer et persiste dans les considérants et le dispositif de son arrêt. Le Département de l'aménagement, du logement et de l'énergie du canton de Genève conclut au rejet du recours. La Commune de U._ renvoie à la détermination du Département précité. L'Office fédéral du développement territorial conclut implicitement au rejet du recours. Les recourants ont répliqué, par courrier du 5 février 2015.