Faits : A. Propriétaires du bâtiment sis sur la parcelle n° 2'834 de la commune de Genève-Cité, A.A._ et B.A._ ont déposé, le 27 octobre 2015, une demande d'autorisation afin de transformer les locaux situés au premier étage, utilisés comme bureaux, en logement de deux pièces. Par décision du 27 janvier 2016, l'Office des autorisations de construire (ci-après OAC, rattaché au département cantonal de l'aménagement, du logement et de l'énergie - DALE) a accordé l'autorisation, en fixant le loyer annuel à 6'810 fr. au maximum. Les propriétaires ont recouru auprès du Tribunal administratif de première instance (TAPI) en relevant que les locaux étaient loués comme bureaux depuis plus de trente ans, de sorte que la transformation en logement ne devait pas être soumise à un contrôle des loyers en vertu de l'art. 3 al. 4 de la loi genevoise sur les démolitions, transformations et rénovations de maisons d'habitation (LDTR; RS/GE L 5 20). Par jugement du 22 novembre 2016, le TAPI a rejeté le recours en considérant que les locaux étaient initialement affectés au logement et que l'affectation commerciale était illégale, de sorte que les propriétaires ne pouvaient se prévaloir de l'art. 3 al. 4 LDTR. B. Par arrêt du 20 juin 2017, la Chambre administrative de la Cour de justice du canton de Genève a confirmé le jugement du TAPI. Les locaux étaient initialement destinés à l'habitation. Seuls les locaux légalement affectés à un usage commercial pouvaient bénéficier de l'art. 3 al. 4 LDTR. L'affectation en bureau était déjà soumise à autorisation en 1966 et la prescription de trente ans permettait certes d'éviter une remise en conformité mais ne rendait pas pour autant licite ce changement d'affectation. Aucune assurance n'avait été donnée par l'autorité quant à une renonciation au contrôle du loyer en cas de prescription. L'art. 11 al. 3 LDTR permettait de maintenir le loyer précédent lorsqu'il dépassait déjà le niveau des loyers répondant aux besoins prépondérants de la population. Cette disposition ne s'appliquait pas lorsque le précédent loyer concernait des locaux commerciaux. C. Agissant par la voie du recours en matière de droit public, A.A._ et B.A._ demandent au Tribunal fédéral d'annuler l'arrêt cantonal et la décision du DALE, subsidiairement de renvoyer la cause à la cour cantonale pour nouvelle décision dans le sens des considérants. La Chambre administrative persiste dans les considérants de son arrêt. Le DALE conclut au rejet du recours. Les recourants ont renoncé à présenter des observations complémentaires.