Faits :
A.
A._ est propriétaire de deux parcelles, nos 3183 et 3185, sur le territoire de la Commune d'Ollon. La parcelle n° 3183 est d'une surface de 4'058 m2, dont 557 m2 de forêt. La parcelle n° 3185, partiellement contiguë, est d'une surface de 4'459 m2, dont 1'725 m2 de forêt, et dispose d'un accès et d'un chemin privé. Ces deux biens-fonds, non construits, sont situés en bordure ouest du village de Villars-sur-Ollon; ils sont classés en zone de chalets D selon le plan d'extension communal du secteur "Les Ecovets-Chesières-Villars-Arveyes" de 1985.
Au mois de juin 2016, la Municipalité d'Ollon a mis à l'enquête publique un projet de zone réservée avec le règlement y relatif. Les deux parcelles précitées, tout comme les parcelles voisines se trouvent colloquées en zone réservée "périmètre A", soit, selon le rapport justificatif selon l'<ref-law>, l'ensemble des zones à bâtir dédiées à l'habitation et situées hors du périmètre urbanisé. Selon le même rapport, le territoire communal présentait une surcapacité d'accueil d'environ 8'400 habitants à l'horizon 2036. L'adoption d'un plan partiel d'affectation en 2016 avait permis, selon le rapport, de déclasser environ 230'500 m2 de terrain, de sorte qu'il restait une surcapacité d'environ 6'400 habitants.
Le 15 décembre 2017, le Conseil communal d'Ollon a levé l'opposition formée par A._ et a adopté la zone réservée et son règlement, considérant que les deux parcelles concernées étaient situées hors du territoire urbanisé. La zone réservée a été approuvée le 2 mai 2018 par le Département du territoire et de l'environnement du canton de Vaud (DTE).
B.
Par arrêt du 5 septembre 2019, la Cour de droit administratif et public du Tribunal cantonal vaudois a confirmé cette décision et rejeté le recours formé par A._. La décision communale était suffisamment motivée. Compte tenu du taux de croissance admis par le plan directeur cantonal pour les villages et quartiers hors centre (15,75% pour 2036), la zone à bâtir destinée à l'habitation devait être réduite et la zone réservée devait permettre de garantir ce dimensionnement. Les parcelles du recourant, non construites, se trouvaient hors du territoire urbanisé tel que défini par la fiche d'application du Service cantonal du développement territorial (SDT); elles se situaient en bordure d'une vaste forêt et aucune demande d'autorisation de construire n'avait été déposée.
C.
Agissant par la voie du recours en matière de droit public, A._ demande au Tribunal fédéral d'annuler les décisions du DTE et du Conseil communal.
La cour cantonale se réfère aux considérants de son arrêt, sans autres observations. Le SDT conclut à l'irrecevabilité, subsidiairement au rejet du recours. La commune d'Ollon conclut au rejet du recours. Dans leurs dernières observations, le recourant, la commune et le SDT persistent dans leurs conclusions.

Considérant en droit :
1.
L'arrêt attaqué confirme l'institution d'une zone réservée sur le territoire communal, en application de l'art. 27 LAT. La jurisprudence y voit un processus de planification ordinaire et considère qu'il s'agit d'une décision finale au sens de l'<ref-law> (arrêts 1C_149/2018 du 13 septembre 2018 consid. 1.1; 1C_141/2014 du 4 août 2014 consid. 1.1 avec les références, publié in ZBl 116/2015 s. 194). Le recours est donc en principe recevable comme recours en matière de droit public selon les <ref-law>, aucune des exceptions prévues à l'<ref-law> n'étant réalisée. Le recourant a pris part à la procédure de recours devant la cour cantonale et il est propriétaire de deux parcelles qui se trouvent dorénavant en zone réservée. Il a ainsi un intérêt évident à l'annulation de l'arrêt attaqué et des décisions cantonale et communale prises à ce sujet et dispose dès lors de la qualité pour agir au sens de l'<ref-law>.
En dépit de sa nature temporaire destinée à préserver une planification future, l'institution d'une zone réservée, à l'issue d'une procédure indépendante de planification, constitue une décision finale et ne peut être assimilée à une mesure provisionnelle. Dès lors, contrairement à ce que soutient le SDT, la limitation des griefs (<ref-law>) ne s'applique pas (<ref-ruling> consid. 2b p. 226; arrêts 1P.304/1994 du 2 février 1995 consid. 1a; 1C_551/2018 du 19 novembre 2019 consid. 1.2; 1C_16/2029 du 18 octobre 2019 consid. 1.2). Il y a donc lieu d'entrer en matière.
2.
Le recourant relève que ses deux parcelles ne se situent qu'à 400-500 m du centre du village et de ses infrastructures et à quelques centaines de mètres de l'office du tourisme, et jouxtent immédiatement le milieu largement bâti du centre du village, destiné à une densification. Elles répondraient ainsi aux critères posés dans la fiche d'application du SDT puisque le secteur réunit un groupe de 10 habitations permanentes distantes de moins de 50 m. Le principe de la proportionnalité commanderait dès lors que les parcelles soient exclues de la zone réservée.
2.1. Selon l'art. 27 LAT, s'il n'existe pas de plan d'affectation ou que l'adaptation d'un tel plan s'impose, l'autorité compétente peut prévoir des zones réservées dans des territoires exactement délimités. A l'intérieur de ces zones, rien ne doit être entrepris qui puisse entraver l'établissement du plan d'affectation (al. 1). Une zone réservée ne peut être prévue que pour cinq ans au plus; le droit cantonal peut prolonger ce délai (al. 2). En droit cantonal, l'art. 46 LATC prévoit que les communes ou le département peuvent établir des zones réservées selon l'art. 27 LAT. Ces zones interdisent ou limitent la constructibilité de terrains pendant une période maximale de cinq ans, pouvant être prolongée de trois ans au maximum (al. 1). La procédure d'approbation est celle des plans d'affectation (al. 2).
L'établissement d'une zone réservée répond ainsi à un intérêt public lorsqu'il y a lieu de modifier un plan d'aménagement, que celui-ci soit ou non conforme au droit (RUCH, in: Aemisegger/Moor/Ruch/ Tschannen [éd.], Praxis Kommentar RPG, Nutzungsplanung, 2016, n° 31 ad art. 27). Il s'agit en particulier de garantir aux autorités chargées de l'aménagement du territoire la liberté de planifier et de décider, et d'éviter que des projets de construction viennent entraver cette liberté. Il faut ainsi une nécessité de planifier, assortie d'une intention concrète. Il n'est toutefois pas nécessaire que l'autorité ait déjà une idée précise de la manière dont elle entend redéfinir la zone à bâtir, en particulier lorsque cela ne découle pas d'une simple intention de sa part mais d'une obligation résultant directement de la LAT ou du plan directeur cantonal (RUCH, op. cit., n° 32 ad art. 27). Tel est le cas de l'obligation de réduire les zones à bâtir surdimensionnées prévue à l'art. 15 al. 2 LAT (AEMISEGGER/KISSLING, in: Aemisegger/Moor/Ruch/ Tschannen [éd.], op. cit., n° 40 ad art. 15). La mesure contestée constitue alors la première étape de ce processus obligatoire.
2.2. Le recourant se plaint d'arbitraire, mais ce grief n'apparaît pas pertinent dans la mesure où l'instauration d'une zone réservée en vue de redimensionner la zone à bâtir doit s'examiner selon les critères posés par le droit fédéral aux art. 27 et 15 LAT, dispositions que la directive cantonale précitée ne fait qu'appliquer. Le recourant renonce par ailleurs expressément à invoquer la garantie de la propriété en rapport avec son dommage financier, de sorte que le principe de la proportionnalité est également sans pertinence sous cet angle. A supposer invoquée une violation du droit fédéral, le recours devrait être rejeté pour les motifs qui suivent.
2.3. Le recourant ne conteste pas que la zone à bâtir de la commune présente un excédent très important, correspondant à 6'400 habitants à l'horizon 2036. La commune a donc l'obligation de réviser sa planification, conformément au plan directeur cantonal et à l'art. 15 al. 2 LAT et l'on se trouve dans une situation où une adaptation de la planification s'impose, au sens de l'art. 27 al. 1 LAT; au demeurant, l'intention de la commune de satisfaire à cette obligation ressort clairement du rapport 47 OAT. Le travail de redimensionnement concerne notamment l'entier de la zone à bâtir susceptible d'accueillir de l'habitat en dehors du périmètre du territoire urbanisé, ce qui correspond au périmètre A de la zone réservée. Telle qu'elle est définie, la zone en question respecte en soi les exigences de l'art. 27 LAT.
2.4. La notion de "terrains déjà largement bâtis" de l'ancien art. 15 let. a LAT doit être comprise de manière étroite. Elle ne s'applique pas à n'importe quel groupe de constructions; il faut que l'on soit en présence d'un milieu bâti, qui présente les caractéristiques d'une "agglomération", avec les infrastructures habituelles ("Siedlungsstruktur"). Les critères à prendre en compte sont notamment le caractère compact de l'ensemble construit, les équipements, les liaisons avec les autres zones à bâtir ou l'infrastructure publique. Les constructions agricoles peuvent être exceptionnellement prises en compte (cf. <ref-ruling> consid. 4.1 p. 222 s.; <ref-ruling> consid. 2b p. 201 et les références citées). Selon la jurisprudence prévalant déjà sous l'ancien art. 15 LAT, les zones à bâtir surdimensionnées sont contraires à la LAT et doivent être réduites (<ref-ruling> consid. 4.3 p. 31; <ref-ruling> consid. 7 p. 211). Par ailleurs, l'un des buts principaux de la législation fédérale sur l'aménagement du territoire est de concentrer l'habitat dans les zones à bâtir et d'empêcher de construire en ordre dispersé, de sorte que les petites zones à bâtir paraissent en principe non seulement inappropriées, mais également contraires à la loi (<ref-ruling> consid. 3a p. 395; arrêt 1C_612/2018 du 16 octobre 2019 consid 5.1).
2.5. En l'occurrence, c'est à tort que le recourant prétend que ses parcelles feraient partie du territoire urbanisé de la commune. Il ressort en effet clairement tant des plans figurant au dossier que des documents produits par le recourant que ses parcelles ne se trouvent ni dans le noyau urbain du village, ni dans le territoire urbanisé qui l'entoure, mais à la limite extérieure de celui-ci, en bordure de la forêt. La proximité alléguée avec le centre du village (plusieurs centaines de mètres) et l'école ou d'autres bâtiments, ne change rien à cette situation excentrée. Le recourant ne saurait se prévaloir des critères de délimitation posés par le SDT dans la fiche d'application relative au territoire urbanisé: le nombre d'habitations et les distances entre constructions se rapportent au noyau urbanisé largement bâti dont les parcelles du recourant ne font assurément pas partie, au contraire des parcelles auxquelles le recourant se réfère en réplique et qui se trouvent comprises dans le tissu bâti. Pour le surplus, le pourtour du territoire urbanisé a été défini de la manière prévue dans la même fiche d'application, en tenant compte des éléments physiques et du découpage parcellaire. Dans ce secteur, la zone réservée a en effet été définie au plus près des parcelles construites; la bande de terrain de la parcelle n° 3185, située entre des parcelles bâties, est d'ailleurs demeurée en zone constructible, mais les deux biens-fonds sont entièrement libres de construction et ne peuvent dès lors être rattachés au milieu densément construit.
2.6. En général, une zone réservée satisfait à l'exigence d'aptitude découlant du principe de la proportionnalité puisqu'il s'agit de préserver la liberté de planification de l'autorité compétente (Ruch, in: Aemisegger/Moor/Ruch/Tschannen (éd.), Commentaire pratique LAT: Planifier l'affectation, 2016, n° 36 ad art. 27). La règle de la nécessité est également respectée lorsque la zone réservée correspond au périmètre concerné par l'obligation de planifier. Tel est le cas en l'occurrence: la zone réservée s'étend à des surfaces constructibles de faible densité situées à la périphérie du territoire construit, ce qui permet d'assurer une liberté d'action suffisante de la commune dans le cadre de la révision de son plan d'affectation à l'échelle de tout le territoire communal.
3.
Sur le vu de ce qui précède, le recours doit être rejeté, dans la mesure où il est recevable. Conformément à l'<ref-law>, les frais judiciaires sont mis à la charge du recourant. Il n'est pas alloué de dépens (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté, dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 4'000 fr., sont mis à la charge du recourant. Il n'est pas alloué de dépens.
3.
Le présent arrêt est communiqué aux mandataires du recourant et du Conseil communal d'Ollon, au Département du territoire et de l'environnement du canton de Vaud et au Tribunal cantonal du canton de Vaud, Cour de droit administratif et public.
Lausanne, le 18 mai 2020
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président : Chaix
Le Greffier : Kurz