Faits: A. A._ a acquis le 3 juin 2002 la parcelle n° 315 de la commune de Veytaux, située dans une clairière au lieu-dit Pra Forney, en zone agricole. Il s'y trouve un chalet d'alpage construit en 1876 et transformé, dès 1960, pour y accueillir des camps de vacances. Un étage de combles avait alors été créé, avec diverses ouvertures, de même qu'une annexe. En 1984, l'étage de combles a été prolongé sur tout le bâtiment, des lucarnes ont été ajoutées et un sous-sol a été aménagé. En 1985, un funiculaire a été réalisé, d'une longueur de 200 m, reliant le chalet à la route située en contrebas. Cette installation a fait l'objet d'une convention entre le propriétaire et la commune de Veytaux, reconduite en 1990. Des travaux ont encore été effectués en 1992-1993 (réfection du toit en tavillons, réaménagement des dortoirs à l'étage et création de lucarnes). Après acquisition de l'immeuble par A._, la convention concernant le funiculaire a été renouvelée en 2002 pour cinq ans. Le 15 août 2003, une demande d'autorisation de construire a été déposée, portant notamment sur l'agrandissement et l'ajout de fenêtres et de lucarnes et la création d'un balcon continu en façade ouest. Au mois d'octobre 2003, A._ a reçu l'autorisation de remettre en état le funiculaire. La gare d'arrivée a été remplacée par un bâtiment comprenant les machines et deux locaux dont un dépôt, construction dont l'autorité a exigé la mise à l'enquête. De nouveaux plans de transformation du chalet ont été déposés en juillet 2004, tenant partiellement compte des objections émises le 18 juin précédent par le Service cantonal de l'aménagement du territoire (SAT). Le 30 septembre 2004, le propriétaire s'est adressé au SAT en indiquant que les travaux étaient en cours et que le représentant du SAT avait déclaré, lors d'une visite des lieux, qu'une autorisation serait prochainement délivrée. Dans sa synthèse du 7 mars 2005, la Centrale des autorisations CAMAC a fait état du refus du SAT de délivrer l'autorisation cantonale spéciale pour une construction hors zone à bâtir. Le SAT relevait que le nouveau projet ne tenait pas suffisamment compte des objections précitées relatives notamment à la forme des fenêtres du rez, à la suppression d'une porte-fenêtre, à l'interruption du balcon et au maintien de la taille des lucarnes. L'identité du bâtiment n'était plus respectée. Cette décision n'a été communiquée par la commune que le 26 août 2005 à A._, lequel a réagi en invoquant l'accord verbal du représentant du SAT. B. Par décision du 4 mars 2008, le Service du développement territorial (SDT, qui a succédé au SAT) a constaté, après une visite des lieux du 23 juin 2006, d'importantes transformations qui dépassaient le potentiel d'agrandissement autorisé par l'art. 24c LAT et ne respectaient pas l'identité du bâtiment. Les mesures de remise en état suivantes ont été ordonnées: la couverture du toit en ardoise devait être remplacée par la couverture d'origine en tavillons; les surcombles, créés lors du remplacement de la charpente et accessibles par un escalier intérieur, devaient être démolis; les nombreux velux et surfaces vitrées sur le toit devaient être supprimés, à l'exception des ouvertures existantes avant 2002; les lucarnes devaient être restaurées selon l'état en 2000. L'ensemble devait être rétabli jusqu'au 31 décembre 2008. Le SAT avait également constaté qu'une annexe (couvert sur fontaine) avait été reconstruite et agrandie, qu'un nouveau bâtiment d'arrivée du funiculaire avait été réalisé, en bois et métal et qu'une terrasse avait été aménagée autour du bâtiment. L'agrandissement des surfaces habitables et annexes devait faire l'objet d'une demande de permis de construire pour le 30 juin 2008. La mise hors service du funiculaire a en outre été ordonnée jusqu'au dépôt d'une demande d'autorisation provisoire soumise à diverses conditions. A._ a recouru contre ce prononcé auprès de la Cour de droit administratif et public du Tribunal cantonal vaudois (CDAP). Celle-ci a procédé à une inspection locale et a suspendu temporairement la cause pour permettre une conciliation, qui n'a pas abouti. Par décision du 31 juillet 2009, le SAT a adressé à la commune de Veytaux, en tant que propriétaire, l'ordre de mettre hors service le funiculaire, aux mêmes conditions que celles imposées à A._, ainsi que de démolir un couvert à voiture de 72 m2 créé sans autorisation. La commune ainsi que A._ ont également recouru contre cette décision. C. Par arrêt du 3 juin 2010, la CDAP a partiellement admis les recours, après avoir rejeté une demande d'audition de témoins. La CDAP a recalculé le potentiel d'agrandissement admissible (30%) en vertu des art. 24c LAT et 42 OAT, selon l'état du bâtiment en 1972, et l'a fixé à 101,43 m2. L'augmentation effective était de 122 m2 au minimum, soit davantage que le maximum de 100 m2 autorisé. Au regard de l'identité du bâtiment, la nouvelle toiture en dalles de granit et les nombreuses ouvertures n'étaient pas admissibles, de même que la partie sud du balcon et la porte-fenêtre. Même s'il s'était largement appuyé sur l'accord de la municipalité et les assurances données verbalement sur place par le représentant du SDT, le recourant ne pouvait se prétendre de bonne foi car il n'avait pas attendu les décisions formelles avant d'entreprendre les travaux et n'avait pas respecté les plans mis à l'enquête. La décision du 4 mars 2008 a été réformée en ce sens que les ouvertures en toiture devaient être rétablies selon l'état en 2002 (sans en préciser le nombre), et qu'un nouveau délai d'exécution devait être fixé. La régularisation des surfaces habitables devait faire l'objet non pas d'une demande de permis de construire, mais d'un dossier de remise en état, dans un nouveau délai à fixer par le SDT. S'agissant du funiculaire, jugé illicite puisque l'affectation du chalet n'était pas conforme à la zone agricole, la CDAP a estimé sa suppression disproportionnée compte tenu notamment de son impact limité et des autorisations accordées. Les décisions du 4 mars 2008 et du 31 juillet 2009 ont été réformées dans ce sens. En revanche, les stations de départ et d'arrivée devaient être limitées au strict minimum. La décision du 31 juillet 2009 a aussi été annulé en ce qui concerne la suppression du couvert, apparemment sans objet. D. Par acte du 5 juillet 2010, A._ forme un recours en matière de droit public par lequel il demande l'annulation de l'arrêt cantonal et des décisions du SAT. La CDAP conclut au rejet du recours en se référant à son arrêt. La commune de Veytaux s'en rapporte à justice. Le SDT conclut au rejet du recours. Le Service cantonal Immeubles, Patrimoine et Logistique (SIPAL) se réfère aux observations déposées en instance cantonale. Le Service cantonal des forêts, de la faune et de la nature a renoncé à se déterminer, de même que l'Office fédéral du développement territorial. Le recourant a répliqué.