Faits : A. L'Etat de Genève est propriétaire de l'immeuble sis au 2 rue des Granges à Genève. Il y loue des appartements en loyer libre. Une partie de l'immeuble accueille également une fondation, dont l'ancien appartement, qui abrite une collection de mobilier et d'art, est ouvert à la visite du public une partie de la semaine, et est aussi utilisé par le Conseil d'Etat du canton de Genève pour y tenir divers déjeuners et réceptions protocolaires. Par courrier du 4 février 2013, adressé au Conseil d'Etat, A._ a sollicité, sur la base de la loi cantonale sur l'information du public et l'accès aux documents du 5 octobre 2001 (LIPAD; RSG A 2 08), que lui soient communiqués pour chaque appartement loué dans l'immeuble précité "le nombre de pièces, la surface et le loyer annuel pour les années 2008, 2009, 2010, 2011, 2012", les noms des locataires pouvant être caviardés. Le 13 mars 2013, le Conseil d'Etat a transmis au prénommé, pour les années précitées, le montant total des loyers pour tous les appartements de l'immeuble, le nombre total de pièces louées et le loyer moyen par pièce, sans transmettre l'état locatif détaillé. Le 15 mars 2013, A._ a persisté dans sa demande d'obtention du nombre de pièces, de la surface et du loyer de chaque appartement de l'immeuble, précisant qu'il n'était pas nécessaire que les trois informations fussent reliées entre elles. Le 17 avril 2013, le Conseil d'Etat a refusé d'entrer en matière sur cette requête complémentaire. Le 18 avril 2013, A._ a saisi la Préposée à la protection des données et à la transparence (ci-après : la Préposée) d'une requête de médiation, à la suite du refus du Conseil d'Etat d'accéder à sa demande. Après la médiation du 23 mai 2013, l'intéressé a modifié sa requête initiale et demandé désormais le nombre de pièces par appartement en 2012, le montant du loyer le plus bas et le montant le plus haut pour les années 2008 à 2012. Il s'est engagé à ne pas procéder à des recoupements qui pourraient porter atteinte à la sphère privée des locataires. Le 27 mai 2013, le Département de l'urbanisme, devenu depuis lors le Département de l'aménagement, du logement et de l'énergie (ci-après : le Département), chargé de répondre à la requête au nom du Conseil d'Etat, a refusé de transmettre les renseignements demandés, au motif que des recoupements susceptibles de porter atteinte à la sphère privée des locataires de l'immeuble pourraient se produire vu le nombre de logements et leur type. Sur demande de A._, la Préposée a émis une recommandation concernant les requêtes de celui-ci. Le 22 juillet 2013, le Département a refusé de répondre favorablement à la requête datée du 3 juin 2013. Il s'est écarté en cela de la recommandation de la Préposée. Le 28 août 2013, le prénommé a recouru contre la décision du Département auprès de la Chambre administrative de la Cour de justice du canton de Genève (ci-après : la Cour de justice). Par arrêt du 24 juin 2014, celle-ci a rejeté le recours. Elle a considéré en substance que cet immeuble appartenait au patrimoine financier de l'Etat et n'était pas affecté à une tâche publique: par conséquent les documents demandés par le prénommé n'étaient pas des renseignements relatifs à l'accomplissement d'une tâche publique au sens de la LIPAD. B. Agissant par la voie du recours en matière de droit public, A._ demande principalement au Tribunal fédéral d'annuler l'arrêt attaqué et d'ordonner au Département de communiquer le nombre de pièces de chaque appartement loué en 2012 et le montant du loyer de chaque appartement pour les années 2008 à 2012. Il conclut subsidiairement d'ordonner au Département la communication du montant du loyer de chaque appartement pour les années 2008 à 2012, sans référence à la taille de l'appartement, voire d'ordonner la communication du montant du loyer le plus bas et le plus haut pour ces années. A titre encore plus subsidiaire, il sollicite le renvoi de la cause à la cour cantonale pour nouvelle décision au sens des considérants. Invités à se déterminer, la Cour de justice renonce à formuler des observations alors que le Département des finances du canton de Genève, agissant au nom du Conseil d'Etat, conclut au rejet du recours. Le recourant a répliqué par courrier du 7 octobre 2014.