Faits:
A.
A._ SA est propriétaire de la parcelle n° 229 de la commune de Penthaz. Elle y exploitait jusqu'en 1997 une station d'enrobage bitumineux comprenant diverses installations implantées à l'est de la parcelle dans une bande de terrain d'une trentaine de mètres classée en zone industrielle. Depuis 1983, certaines de ces installations faisaient l'objet d'une mention de précarité inscrite au registre foncier. Le solde de la parcelle était, selon la planification de 1985, en zone de verdure.
Au mois d'octobre 1995, le plan d'affectation cantonal de protection de la Venoge (PAC V) a été mis à l'enquête publique. Il prévoyait le classement de la zone de verdure en zone protégée des couloirs de la Venoge et du Veyron et le classement de la surface industrielle en zone à bâtir à prescriptions spéciales. La propriétaire s'est opposée à cette nouvelle affectation. Une nouvelle version du PAC V a été mise à l'enquête au mois de mai 2002, prévoyant la collocation de l'entier de la parcelle 229 en zone protégée, en raison du risque d'inondation et de l'existence d'une zone alluviale d'importance nationale. La propriétaire a recouru en vain successivement auprès du département cantonal compétent, du Tribunal administratif vaudois et du Tribunal fédéral (arrêt 1A.265/2006 du 14 juin 2007).
B.
Le 10 juin 2008, A._ SA a formé auprès du Tribunal d'expropriation du Tribunal d'arrondissement de la Côte une demande tendant, selon la teneur de ses dernières conclusions, au paiement par l'Etat de Vaud de 556'000 fr. pour la perte de valeur de la parcelle et de 263'000 fr. de frais de remise en état.
Par jugement du 2 novembre 2011, le tribunal a rejeté la demande. L'adoption du PAC V constituait une mesure de déclassement ouvrant la voie à une indemnité. Toutefois, l'atteinte au droit de propriété n'était pas suffisamment grave car la parcelle était déjà largement inconstructible selon la planification précédente: la surface industrielle ne représentait que 2'795 m2 sur les 13'693 m2 de la parcelle, et elle était encore inconstructible sur une bande de 10 m de largeur située en bordure de forêt. La demanderesse elle-même estimait à 14'000/ 15'000 m2 la surface nécessaire à son activité. La valeur de la parcelle était en outre affaiblie par la présence de la forêt en zone alluviale et par la mention de précarité affectant certaines installations. Une indemnisation était dès lors exclue. La question de l'égalité de traitement avec les entreprises et installations voisines avait déjà été traitée dans la procédure de planification. En outre, il n'existait pas d'accès réglementaire et la demanderesse avait cessé son exploitation en 1997. La question de la justification du déclassement par des motifs de police a été laissée indécise.
C.
Par arrêt du 14 juin 2013, la Chambre des recours du Tribunal cantonal vaudois a admis l'appel formé par A._ SA. Le jugement de première instance a été rectifié sur de nombreux points de fait: en substance, la parcelle se prêtait à une exploitation industrielle - y compris une station d'enrobage -, en dépit de la proximité de la forêt et du risque d'inondation; l'emprise du canal d'Entreroches (projet abandonné) ne diminuait pas la valeur de la parcelle. La surface constructible était en tout cas de 1'000 m2 et la demanderesse avait pu y développer son exploitation; le même type d'activité ou d'autres formes d'utilisation n'étaient pas exclus à l'avenir. La décision de déclassement et l'ordre subséquent de démanteler les installations existantes constituaient une atteinte grave; il ne s'agissait pas d'une mesure de police car le danger d'inondation ou d'érosion n'était pas imminent. La cause était renvoyée au tribunal de première instance afin que soient examinées les prétentions pécuniaires de la demanderesse.
D.
Agissant par la voie du recours en matière de droit public, l'Etat de Vaud demande au Tribunal fédéral de réformer l'arrêt cantonal en ce sens que l'appel est déclaré irrecevable, subsidiairement rejeté.
La Chambre des recours se réfère à son arrêt. Le Tribunal d'expropriation a renoncé à déposer une réponse. A._ SA conclut au rejet du recours dans la mesure où il est recevable. La recourante a déposé des observations complémentaires le 27 janvier 2014 et l'intimée a produit une réplique spontanée le 4 février 2014.
Considérant en droit:
1.
L'arrêt attaqué constitue une décision cantonale de dernière instance rendue en matière d'indemnisation résultant de restrictions apportées au droit de propriété au sens de l'art. 5 de la loi fédérale du 22 juin 1979 sur l'aménagement du territoire (LAT; RS 700). Il peut faire l'objet d'un recours en matière de droit public fondé sur les art. 82 ss LTF.
1.1. En tant que partie à la procédure devant l'autorité précédente et défendeur au procès, l'Etat de Vaud a qualité pour recourir (art. 89 al. 1 LTF et 34 al. 2 let. a LAT). Au regard des dernières conclusions présentées en première instance, la valeur litigieuse fixée à l'art. 85 al. 1 let. a LTF est atteinte.
1.2. L'arrêt attaqué renvoie la cause au Tribunal de première instance afin qu'il se détermine sur les prétentions pécuniaires de l'intimée. Il statue certes définitivement sur le principe de l'existence d'un cas d'expropriation matérielle, mais il s'agit d'un prononcé préjudiciel et non d'un jugement partiel au sens de l'art. 91 let. a LTF (arrêt 1C_281/2008 du 7 avril 2009; cf. en matière de responsabilité civile, l'arrêt 4A_632/2012 du 21 février 2013). De nature incidente, l'arrêt attaqué ne peut faire l'objet d'un recours immédiat qu'aux conditions de l'art. 93 LTF, et en particulier de l'art. 93 al. 1 let. b LTF. Selon cette disposition, le recours est recevable si son admission peut conduire immédiatement à une décision finale qui permet d'éviter une procédure probatoire longue et coûteuse (let. b). Ces conditions sont en l'espèce réalisées. En effet, l'admission du recours pour l'un des motifs soulevés (de forme ou de fond) permettrait de mettre un terme définitif à la cause. En outre, même si plusieurs questions de fait ont déjà été résolues par l'instance d'appel, la reprise de la procédure de première instance afin d'examiner les prétentions pécuniaires de la demanderesse est susceptible d'être encore longue et coûteuse: la cause présente une certaine complexité, et des mesures d'instruction telles qu'une expertise pourraient être ordonnées. La première procédure a d'ailleurs duré plusieurs années, et les frais y relatifs apparaissent considérables.
Il y a donc lieu d'entrer en matière.
2.
Dans un premier grief, l'Etat de Vaud estime que la Chambre des recours n'aurait pas dû entrer en matière sur l'appel de l'intimée. Celui-ci avait été déposé trente jours après notification du jugement alors que, selon l'art. 458 CPC-VD, le délai d'appel était de dix jours. L'appelante ne pouvait se fier à l'indication figurant dans le jugement, dès lors qu'elle était assistée de deux avocats et que le délai d'appel figurait clairement dans la loi cantonale et son commentaire.
2.1. Selon l'art. 116 de la loi vaudoise sur l'expropriation (LE), les litiges relatifs à l'expropriation matérielle font l'objet d'une action en paiement. La procédure d'expropriation formelle n'est pas applicable. En l'occurrence, les juridictions saisies ont appliqué les dispositions sur les contestations relatives aux rapports de voisinage du code de procédure civile du canton de Vaud (CPC/VD), lequel prévoit une procédure accélérée (art. 410 CPC/VD). Le délai d'appel était par conséquent de dix jours (art. 458 al. 2 CPC/VD), et non de trente jours comme le prévoit l'art. 54 al. 1 LE pour la procédure d'expropriation formelle. La cour cantonale a toutefois considéré que l'appelante ne devait pas pâtir de l'indication erronée qui figurait dans le jugement attaqué.
2.2. La cour cantonale s'est fondée sur l'ancien droit en se référant à l'art. 116 al. 2 du code de droit privé judiciaire vaudois, du 12 janvier 2010, entré en vigueur le 1 er janvier 2011 (CDPJ). L'intimée conteste l'application de cette disposition, en relevant que la cause ne portait pas sur l'application du CC ou du CO ou d'une autre loi fédérale de droit privé au sens de l'art. 1 al. 1 et 2 CDPJ. Elle conteste également qu'il s'agisse d'une cause de droit cantonal au sens de l'art. 1 al. 1 CDPJ puisque l'indemnisation pour expropriation matérielle serait fondée sur le droit fédéral.
2.3. Selon l'art. 5 al. 3 Cst., les organes de l'État et les particuliers doivent agir de manière conforme aux règles de la bonne foi. Il en découle que si l'autorité donne de fausses indications au justiciable, elle peut être amenée à devoir traiter le destinataire d'une façon dérogeant au droit. Cela vaut notamment en cas de fausse indication des voies de recours, pour autant toutefois que le destinataire ne reconnaisse pas l'erreur et ne puisse pas s'en apercevoir en faisant preuve de l'attention commandée par les circonstances. Selon la jurisprudence, seule une faute grave d'une partie ou de son représentant peut faire échec à la protection de sa bonne foi. Tel est le cas lorsque l'avocat de la partie pouvait d'emblée se rendre compte de l'inexactitude en consultant simplement la législation applicable; on ne saurait en revanche lui reprocher de ne pas avoir poussé ses recherches plus loin (ATF 135 III 374 consid. 1.2.2; 134 I 199 consid. 1.3.1; cf. art. 49 LTF, art. 52 CPC).
2.4. Le tribunal de première instance, qui a statué après l'entrée en vigueur du Code fédéral de procédure civile (CPC), s'est référé aux dispositions des art. 308 ss de ce code, et en particulier à l'art. 311 qui instaure un délai de trente jours. S'il est vrai que les procédures introduites avant l'entrée en vigueur du CPC étaient encore régies par l'ancien droit (art. 404 al. 1 CPC), il en va différemment pour les recours, qui sont soumis au droit en vigueur au moment de la communication de la décision aux parties (art. 405 al. 1 CPC). On ne saurait dès lors reprocher à l'intimée de ne pas avoir consulté le commentaire du CPC/VD, puisque c'était le CPC qui était mentionné dans l'indication des voies de droit. La cour cantonale a néanmoins considéré que la cause concernait l'application de la LE, soit du droit public cantonal au sens de la CDJP. Quoi qu'il en soit, cette dernière loi n'avait pas été mentionnée durant la procédure de première instance et son application n'avait rien d'évident. Quant à l'art. 116 LE, sans sa teneur au 1 er janvier 2011, il ne faisait pas expressément référence à l'art. 410 CPC/VD.
Ainsi, même si l'appelante était représentée par deux avocats, l'inexactitude de l'indication des voies de droit figurant dans le jugement de première instance ne saurait être considérée comme manifeste. En procédure cantonale, l'Etat de Vaud lui-même n'a d'ailleurs soulevé aucune objection quant au respect du délai d'appel. Le grief doit par conséquent être écarté.
3.
L'Etat de Vaud ne conteste pas que les mesures instituées par le PAC V constituent un déclassement, comme l'ont retenu successivement le Tribunal d'arrondissement et la cour cantonale. Il estime en revanche que l'atteinte au droit de propriété ne serait pas suffisamment grave pour constituer une expropriation matérielle. Sur les 13'693 m2 que compte la parcelle, 10'000 m2 seraient inconstructibles car situés dans le périmètre du PEC 111 (canal d'Entreroches), toujours en vigueur. Sur les 2795 m2 restants, une grande partie serait également inconstructible en raison de la proximité avec la lisière de forêt. La surface constructible (une bande de terrain de 140 m de long sur 11, puis 5 m de large) ne se prêterait pas à une exploitation industrielle. Certaines installations avaient fait l'objet d'une mention de précarité et il y aurait lieu de tenir compte également de la proximité de la parcelle avec une zone alluviale d'importance nationale.
3.1. Selon la jurisprudence, il y a expropriation matérielle au sens de l'art. 26 al. 2 Cst. et de l'art. 5 al. 2 LAT lorsque l'usage actuel d'une chose ou son usage futur prévisible est interdit ou restreint de manière particulièrement grave, de sorte que l'intéressé se trouve privé d'un attribut essentiel de son droit de propriété. Une atteinte de moindre importance peut aussi constituer une expropriation matérielle si elle frappe un ou plusieurs propriétaires de manière telle qu'ils devraient supporter un sacrifice par trop considérable, incompatible avec le principe de l'égalité de traitement (ATF 131 II 151 consid. 2.1 p. 155; 125 II 431 consid. 3a p. 433 et les arrêts cités).
3.2. La cour cantonale a rectifié le jugement de première instance sur plusieurs points de fait, et le recourant ne prétend pas que ces rectifications auraient été opérées en violation du droit ou que les faits finalement retenus seraient manifestement inexacts (art. 97 al. 1 LTF). L'état de fait établi en dernière instance cantonale lie par conséquent le Tribunal fédéral (art. 105 al. 1 LTF).
3.3. S'agissant de l'emprise du canal d'Entreroches, la Chambre des recours a retenu qu'elle ne touchait pas la zone industrielle de la parcelle. Par ailleurs, le projet de canal du Rhône au Rhin avait été abandonné définitivement de sorte que la valeur de la parcelle ne s'en trouvait plus diminuée. Cette renonciation figure depuis 2007 dans le plan directeur cantonal et dès lors, même si le plan d'extension y relatif est toujours en vigueur, l'abandon définitif du projet fait perdre toute pertinence à cette mesure. C'est à juste titre que la cour cantonale n'y a pas vu un facteur de diminution de la valeur économique de la parcelle. Il en va de même de la mention de précarité qui frappe certaines installations, puisque cette mention était directement liée au même plan d'extension. L'arrêt attaqué retient également, sans que le recourant n'y voie d'inexactitude manifeste, que la zone alluviale d'importance nationale "borde la parcelle n° 229 sans l'englober", et le recourant n'indique pas en quoi cette proximité restreindrait les possibilités de construire.
3.4. Le recourant met aussi en cause l'existence de l'équipement de la parcelle. Il estime que tout accès serait prohibé en raison de l'aire forestière. L'arrêt attaqué retient que la parcelle dispose d'une route d'accès au bénéfice d'une servitude de passage et que cet accès était réglementaire avant l'adoption du PAC V. La cessation d'activité intervenue en 1997 ne change rien à l'existence de cet accès et à son caractère réglementaire sous l'empire du précédent régime d'affectation.
3.5. Relevant que l'intimée a cessé toute activité depuis 1997, le recourant conteste ensuite la possibilité de reprendre une exploitation du même genre, compte tenu des importantes mesures de protection contre les inondations (remblais avec enrochements) estimées entre 70'000 et 230'000 fr. Un tel investissement ne serait pas envisageable pour une surface réellement exploitable de 1000 m2 seulement.
3.5.1. L'indemnité d'expropriation est destinée à compenser la perte ou la limitation de l'usage d'un bien-fonds, soit l'usage qui a été fait jusqu'alors, soit celui qui était prévisible dans l'avenir. La protection conférée par la réglementation en matière d'expropriation ne s'étend à l'usage futur prévisible que dans la mesure où il apparaît, au moment déterminant, comme très probable dans un proche avenir. Par usage futur prévisible d'un bien-fonds, on entend généralement la possibilité de l'affecter à la construction (ATF 131 II 151 consid. 2.1 p. 155; 125 II 431 consid. 3a p. 433 et les arrêts cités).
3.5.2. L'arrêt attaqué retient que malgré la surface restreinte de la surface constructible, l'intimée a pu y exercer son activité industrielle. Selon les différents rapports d'expertise et les témoignages recueillis dans la procédure, une remise en fonction des installations, respectivement une exploitation du même genre seraient possibles moyennant un investissement modéré. Une autre utilisation de type industriel serait également envisageable, sous réserve des exigences relatives à la prévention des risques d'inondation. L'importance des investissements à opérer dans cette perspective est certes un élément à prendre en compte lors de la fixation d'une indemnité pour expropriation matérielle, mais ne permet pas de nier l'importance de l'atteinte au droit de propriété. Le grief doit lui aussi être écarté.
3.6. Le recourant estime enfin que le déclassement devrait être qualifié de mesure de police, n'ouvrant pas la porte à une indemnisation. Le placement de la parcelle en zone protégée répondrait à des impératifs de protection des eaux de la Venoge et du Veyron, compte tenu du risque d'inondations. Ce risque avait été qualifié de moyen par les expertises et s'était déjà réalisé par le passé.
3.6.1. Selon la jurisprudence, le classement d'un bien-fonds dans une zone de protection des eaux est une mesure de police au sens étroit qui n'entraîne en principe aucune obligation d'indemniser (arrêt 1A.122/2002 du 6 décembre 2002, consid. 3.1 et la jurisprudence citée). La jurisprudence prévoit toutefois une exception si l'établissement d'une zone de protection équivaut à un déclassement d'un terrain prêt pour la construction ou équipé, ce qui est notamment le cas si celui-ci aboutit à une interdiction totale de bâtir (même arrêt).
3.6.2. Le cas d'espèce est assimilable à cette dernière situation, puisque la parcelle se trouvait équipée et que l'intimée a pu effectivement y exercer une activité industrielle durant de nombreuses années. Pour ce motif déjà, le grief doit être écarté. Au demeurant, à teneur de l'article premier de son règlement, le PAC V a pour objectif général d'assurer l'assainissement des eaux, de maintenir et restaurer les milieux naturels favorables à la flore et la faune, notamment la végétation riveraine ainsi que de conserver les milieux naturels les plus intéressants. Pour autant, l'expertise réalisée dans le cadre de l'adoption de ce plan constate que la parcelle de l'intimée ne présente qu'un danger moyen d'inondations. L'expert commis dans le cadre de la procédure d'expropriation matérielle a confirmé l'existence d'un danger moyen; l'utilisation de la parcelle pour la production d'enrobés bitumineux n'était pas incompatible avec le régime des inondations: un plan d'alerte assorti de mesures très simples de sécurisation ne présentait que des coûts minimes sans influence sur la valeur de la parcelle. L'expert préconisait une série de mesures plus coûteuses en cas d'utilisation différente de la parcelle.
On ne saurait dès lors considérer que la mesure de classement de la parcelle en zone de protection était destinée à prévenir un danger sérieux ou imminent pour les eaux. L'arrêt des activités, en 1997, n'est d'ailleurs pas motivé par l'existence d'un tel danger, mais par la nécessité d'un assainissement des installations exigé par la CNA.
4.
Sur le vu de ce qui précède, le recours doit être rejeté. L'intérêt patrimonial de l'Etat de Vaud étant en jeu, il se justifie de mettre à sa charge les frais judiciaires (art. 66 al. 4 in fine LTF), de même qu'une indemnité de dépens allouée à l'intimée, qui obtient gain de cause avec l'assistance d'un avocat (art. 68 al. 1 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1.
Le recours est rejeté.
2.
Une indemnité de dépens de 7'000 fr., est allouée à l'intimée A._ SA, à la charge de l'Etat de Vaud.
3.
Les frais judiciaires, arrêtés à 5'000 fr., sont mis à la charge de l'Etat de Vaud.
4.
Le présent arrêt est communiqué aux mandataires des parties, au Tribunal d'expropriation de l'arrondissement de la Côte et à la Chambre des recours du Tribunal cantonal du canton de Vaud.
Lausanne, le 12 mai 2014
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président: Fonjallaz
Le Greffier: Kurz