Faits :
A.
Propriétaires du bâtiment sis sur la parcelle n° 2'834 de la commune de Genève-Cité, A.A._ et B.A._ ont déposé, le 27 octobre 2015, une demande d'autorisation afin de transformer les locaux situés au premier étage, utilisés comme bureaux, en logement de deux pièces.
Par décision du 27 janvier 2016, l'Office des autorisations de construire (ci-après OAC, rattaché au département cantonal de l'aménagement, du logement et de l'énergie - DALE) a accordé l'autorisation, en fixant le loyer annuel à 6'810 fr. au maximum. Les propriétaires ont recouru auprès du Tribunal administratif de première instance (TAPI) en relevant que les locaux étaient loués comme bureaux depuis plus de trente ans, de sorte que la transformation en logement ne devait pas être soumise à un contrôle des loyers en vertu de l'art. 3 al. 4 de la loi genevoise sur les démolitions, transformations et rénovations de maisons d'habitation (LDTR; RS/GE L 5 20). Par jugement du 22 novembre 2016, le TAPI a rejeté le recours en considérant que les locaux étaient initialement affectés au logement et que l'affectation commerciale était illégale, de sorte que les propriétaires ne pouvaient se prévaloir de l'art. 3 al. 4 LDTR.
B.
Par arrêt du 20 juin 2017, la Chambre administrative de la Cour de justice du canton de Genève a confirmé le jugement du TAPI. Les locaux étaient initialement destinés à l'habitation. Seuls les locaux légalement affectés à un usage commercial pouvaient bénéficier de l'art. 3 al. 4 LDTR. L'affectation en bureau était déjà soumise à autorisation en 1966 et la prescription de trente ans permettait certes d'éviter une remise en conformité mais ne rendait pas pour autant licite ce changement d'affectation. Aucune assurance n'avait été donnée par l'autorité quant à une renonciation au contrôle du loyer en cas de prescription. L'art. 11 al. 3 LDTR permettait de maintenir le loyer précédent lorsqu'il dépassait déjà le niveau des loyers répondant aux besoins prépondérants de la population. Cette disposition ne s'appliquait pas lorsque le précédent loyer concernait des locaux commerciaux.
C.
Agissant par la voie du recours en matière de droit public, A.A._ et B.A._ demandent au Tribunal fédéral d'annuler l'arrêt cantonal et la décision du DALE, subsidiairement de renvoyer la cause à la cour cantonale pour nouvelle décision dans le sens des considérants.
La Chambre administrative persiste dans les considérants de son arrêt. Le DALE conclut au rejet du recours. Les recourants ont renoncé à présenter des observations complémentaires.

Considérant en droit :
1.
Dirigé contre une décision finale (<ref-law>) prise en dernière instance cantonale (art. 86 al. 1 let. d LTF) dans une cause de droit public (<ref-law>), le recours est en principe recevable comme recours en matière de droit public selon les <ref-law>, aucune des exceptions prévues à l'<ref-law> n'étant réalisée. Les recourants ont pris part à la procédure devant l'autorité précédente et sont particulièrement touchés par l'arrêt attaqué qui confirme le contrôle de loyer ordonné par le DALE. Ils disposent dès lors de la qualité pour recourir devant le Tribunal fédéral au sens de l'<ref-law>.
2.
Invoquant la garantie de la propriété (art. 26 Cst.), les recourants estiment que le contrôle du loyer ne reposerait sur aucune base légale dès lors que selon le texte clair de l'art. 3 al. 4 LDTR, le passage d'un usage commercial à une affectation de logement ne serait pas considéré comme un changement d'affectation, la loi ne précisant pas que l'usage commercial devrait être formellement autorisé. Le législateur avait voulu favoriser la transformation de locaux commerciaux en logements, sans contrôle des loyers. Dans un grief distinct, les recourants se plaignent d'une application arbitraire de l'art. 3 al. 4 LDTR en relevant que les locaux sont à usage commercial depuis plus de trente ans.
2.1. La garantie de la propriété ancrée à l'art. 26 al. 1 Cst. n'est pas absolue. Comme tout droit fondamental, elle peut être restreinte aux conditions fixées à l'art. 36 Cst., soit en présence d'une base légale et d'un intérêt public suffisant. La restriction doit en outre respecter le principe de la proportionnalité, qui exige notamment que le but visé ne puisse être atteint par une mesure moins contraignante (<ref-ruling> consid. 4.2.1 p. 173; <ref-ruling> consid. 3.1 p. 246). La jurisprudence considère que la réglementation instaurant un contrôle des loyers après transformations ou changement d'affectation n'est en soi pas contraire au droit fédéral et à la garantie de la propriété puisqu'elle procède d'un intérêt public important (<ref-ruling> consid. 7b/aa p. 137; arrêt 1C_68/2015 du 5 août 2015 consid. 2.3). Le grief des recourants se rapporte ainsi à l'interprétation d'une norme de droit cantonal, et le pouvoir d'examen du Tribunal fédéral est limité à l'arbitraire (<ref-ruling> consid. 6.1 p. 324).
2.2. Appelé à revoir l'interprétation d'une norme cantonale ou communale sous l'angle restreint de l'arbitraire, le Tribunal fédéral ne s'écarte de la solution retenue par l'autorité cantonale de dernière instance que si celle-ci apparaît insoutenable, en contradiction manifeste avec la situation effective, adoptée sans motifs objectifs et en violation d'un droit certain. En revanche, si l'application de la loi défendue par l'autorité cantonale ne s'avère pas déraisonnable ou manifestement contraire au sens et au but de la disposition ou de la législation en cause, cette interprétation sera confirmée, même si une autre solution - même préférable - paraît possible (<ref-ruling> consid. 2.4 p. 5; <ref-ruling> consid. 4.2 p. 560). En outre, pour qu'une décision soit annulée au titre de l'arbitraire, il ne suffit pas qu'elle se fonde sur une motivation insoutenable; encore faut-il qu'elle apparaisse arbitraire dans son résultat (<ref-ruling> consid. 6.1 p. 324).
2.3. L'art. 3 LDTR définit les notions de transformation et de changement d'affectation. Ses alinéas 3 et 4 ont la teneur suivante:
3 Par changement d'affectation, on entend toute modification, même en l'absence de travaux, qui a pour effet de remplacer des locaux à destination de logements par des locaux à usage commercial, administratif, artisanal ou industriel. Sont également assimilés à des changements d'affectation:
a) le remplacement de locaux à destination de logements par des résidences meublées ou des hôtels;
b) le remplacement de résidences meublées ou d'hôtels par des locaux commerciaux, lorsque ces résidences ou ces hôtels répondent aux besoins prépondérants de la population;
c) l'aliénation d'appartements loués, en application de l'article 39.
4 Il n'y a pas de changement d'affectation au sens de la présente loi lorsque des locaux à usage commercial, administratif, artisanal ou industriel sont affectés à l'habitation. Il n'y a également pas de changement d'affectation au sens de la présente loi lorsque ces locaux retrouvent leur destination commerciale, administrative, artisanale ou industrielle antérieure. Le loyer ou le prix des locaux convertis en logement ne peut pas être contrôlé au sens de la présente loi. Est réservé l'éventuel contrôle existant déjà au sens d'une autre loi en matière d'immeubles subventionnés et se poursuivant aux conditions de celle-ci.
2.4. Les recourants présentent leur propre interprétation de l'art. 3 al. 4 LDTR, sans pour autant démontrer, comme l'exigent les art. 42 al. 2 et 106 al. 2 LTF, en quoi celle retenue par la cour cantonale serait arbitraire. Comme le rappelle la cour cantonale, l'art. 3 al. 4 LDTR a pour but d'encourager les propriétaires à convertir les surfaces commerciales en locaux d'habitation, en exemptant cette opération d'un contrôle des loyers. Même si la loi ne le prévoit pas expressément, il faut pour cela que l'affectation initiale soit dûment autorisée car, dans le cas contraire, cela permettrait à des propriétaires de logements d'affecter provisoirement ceux-ci en locaux commerciaux afin de pouvoir les reconvertir en logements et d'échapper ainsi au contrôle des loyers. Cette interprétation n'a rien d'insoutenable. Elle est d'ailleurs confirmée par l'art. 7 LDTR, selon lequel nul ne peut en principe changer l'affectation de tout ou partie d'un bâtiment, ce qui implique que l'affectation déterminante est bien celle qui a été autorisée à l'origine.
2.5. Invoquant le principe de non-rétroactivité des lois, les recourants soutiennent qu'en 1966 (date présumée du changement d'affectation), la loi ne soumettait par à autorisation un tel changement d'affectation, de sorte que celui-ci devrait être considéré comme légal. Ce ne serait que depuis 1983 que la LDTR traite des changements d'affectation.
La question de savoir à partir de quand l'affectation commerciale a commencé est une question de fait, que les recourants ne remettent pas en cause conformément à l'<ref-law>. Quant à l'interprétation de la législation en vigueur en 1966, elle est également revue par le Tribunal fédéral sous l'angle de l'arbitraire; or il n'y a rien d'insoutenable à considérer d'une part que le passage d'une affectation locative à une affectation commerciale constitue une modification sensible de la destination, et à assimiler d'autre part un appartement à une maison d'habitation, selon les termes de l'art. 1 LDTR en vigueur en 1966. Le grief doit lui aussi être écarté.
2.6. Les recourants invoquent aussi les règles de répartition du fardeau de la preuve (<ref-law>); ils reprochent à la cour cantonale d'avoir retenu qu'ils n'avaient pas démontré un usage commercial antérieur à 1966, alors qu'il ne leur appartenait pas d'apporter cette preuve. La cour cantonale a retenu la date de 1966 puisque c'est dès cette époque que la loi soumettait à autorisation les changements d'affectation. Si les recourants entendaient se prévaloir de la réglementation antérieure à cette date, il leur appartenait d'apporter la preuve des faits correspondants. L'arrêt attaqué est sur ce point conforme à l'<ref-law>.
2.7. Invoquant le principe de la bonne foi (art. 5 al. 3 Cst.), les recourants relèvent que le département aurait indiqué que s'il était prouvé que l'affectation commerciale remontait à plus de trente ans, il serait disposé à examiner la situation en ce qui concerne la fixation du loyer. Ils estiment pouvoir se fonder sur ces assurances précises pour être exemptés du contrôle du loyer.
La cour cantonale relève que, dans le cadre de la procédure devant le TAPI, le département avait déclaré être disposé à réexaminer la situation en ce qui concernait la fixation du loyer. On ne saurait toutefois déduire d'une telle déclaration que l'autorité renoncerait purement et simplement à un contrôle du loyer. Le DALE a d'ailleurs précisé, lors de l'audience devant le TAPI, que la preuve d'une affectation commerciale depuis plus de trente ans entraînerait la renonciation à exiger la réaffectation en logement, mais non la mise au bénéfice de l'art. 3 al. 4 LDTR. Dans ces conditions, les déclarations de l'autorité ne pouvaient de bonne foi être interprétées comme une garantie d'exemption du contrôle du loyer.
3.
Les recourants se plaignent enfin du montant du loyer annuel autorisé après travaux, soit 6'810 fr. (3'405 fr. la pièce). Ils relèvent que le loyer des locaux avant travaux était de 13'920 fr., et ce depuis 2008. La cour cantonale ne pouvait considérer que le loyer précédent était relatif à un local commercial, tout en retenant sous l'angle de l'art. 3 al. 4 LDTR que cette affectation était illicite.
Dans la mesure où il concerne encore l'application du droit cantonal, le grief doit lui aussi être examiné sous l'angle de l'arbitraire. Selon l'art. 11 al. 3 LDTR, si le loyer avant transformation ou rénovation dépasse le niveau des loyers répondant aux besoins prépondérants de la population, il est maintenu au même niveau lorsque cela permet au propriétaire de supporter le coût des travaux sans majoration de loyer. Cela suppose que le loyer avant travaux n'est pas lui-même surfait, ce qu'il appartient au propriétaire de démontrer. La cour cantonale a retenu qu'au sens de la loi, le loyer déterminant avant travaux était celui de locaux d'habitation. Cette interprétation, fondée sur les travaux préparatoires, apparaît en outre conforme au but de la réglementation et n'a rien d'arbitraire. Dès lors que le loyer avant travaux était de fait celui d'un local commercial (quand bien même l'affectation en question était en droit illicite), il ne pouvait être retenu. La fixation du loyer selon la fourchette applicable aux logements ne prête ainsi pas le flanc à la critique.
4.
Sur le vu de ce qui précède, le recours est rejeté. Conformément à l'<ref-law>, les frais judiciaires sont mis à la charge des recourants qui succombent.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 3'000 fr., sont mis à la charge des recourants.
3.
Le présent arrêt est communiqué au mandataire des recourants, au Département de l'aménagement, du logement et de l'énergie de la République et canton de Genève, ainsi qu'à la Cour de justice de la République et canton de Genève, Chambre administrative.
Lausanne, le 1er mars 2018
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président : Merkli
Le Greffier : Kurz