A.- Le Département des infrastructures du canton de Vaud a approuvé le 22 février 1999 le plan d'affectation cantonal "Vuaz Vauchy", qui modifie la destination d'un secteur, d'une surface de 4'150 m2 environ, d'une zone industrielle de la commune de Payerne. Selon le règlement du plan d'affectation cantonal (RPAC), cette mesure de planification vise à permettre l'édification d'un "établissement médico-social sécurisé" (art. 1 RPAC). Cet établissement devrait être construit et exploité par la fondation de droit public "La Passerelle"; il comporterait des locaux d'habitation et des ateliers et il serait destiné à accueillir quinze détenus hommes confrontés à un handicap psychique. Actuellement, le terrain (réparti sur trois parcelles) appartient à la commune de Payerne, à la Confédération suisse et à la société anonyme Morandi Frères S.A.
Le règlement du plan d'affectation cantonal définit notamment le volume et la hauteur des bâtiments prévus (art. 4 ss RPAC); il prévoit l'attribution du degré de sensibilité au bruit III à l'ensemble du périmètre (art. 11 RPAC).
En approuvant le plan, le Département des infrastructures a rejeté les oppositions qui avaient été formées lors de l'enquête publique. Une de ces oppositions émanait de deux propriétaires fonciers voisins, dans la zone industrielle (régie par le plan des zones de la commune de Payerne) dont faisait partie auparavant le terrain destiné à l'établissement médico-social: A._, propriétaire de la parcelle n° 2169 où se trouvent des installations industrielles, et B._, propriétaire de la parcelle n° 4767 où se trouve une maison d'habitation. Ces terrains se situent à environ 150 m de la limite nord du périmètre du plan d'affectation cantonal.
B.- A._ et B._ ont recouru contre la décision du Département des infrastructures auprès du Département cantonal des institutions et des relations extérieures, selon la procédure prévue à l'art. 73 al. 3 et 4 de la loi cantonale sur l'aménagement du territoire et les constructions (LATC). Ils faisaient en substance valoir que le plan d'affectation cantonal n'était pas conforme aux principes de l'aménagement du territoire ni à ceux du plan directeur cantonal; ils critiquaient en outre l'attribution du degré de sensibilité au bruit III.
Par prononcé du 14 juillet 1999, le Département des institutions et des relations extérieures a rejeté le recours.
C.- A._ et B._ ont recouru contre ce prononcé auprès du Tribunal administratif du canton de Vaud, en développant les critiques qu'ils avaient déjà formulées devant le département.
Le Tribunal administratif a rejeté ce recours par un arrêt rendu le 20 septembre 2000. Il a admis la conformité du plan d'affectation cantonal aux principes du plan directeur cantonal en matière de régionalisation et de décentralisation concentrée. Il a en outre considéré que l'attribution du degré de sensibilité III au périmètre du plan d'affectation cantonal était conforme au droit fédéral, vu la destination de cette zone spéciale, et que cela n'entraînait pas de restrictions significatives, du point de vue des exigences relatives à la limitation des émissions de bruit, pour les propriétaires d'installations voisines en zone industrielle.
D.- A._ et B._ ont adressé au Tribunal fédéral, le 20 octobre 2000, un acte intitulé "recours", au terme duquel ils concluent à la réforme de l'arrêt du Tribunal administratif, dans le sens d'une admission de leur opposition, et subsidiairement à l'annulation de cet arrêt. Ils se plaignent d'une atteinte à leur droit de propriété garanti par la Constitution fédérale, à cause des limitations des émissions de bruit qu'impliquerait, dans le voisinage, la présence d'un établissement médico-social situé dans une zone dont le degré de sensibilité n'est pas celui de la zone industrielle; ils critiquent du reste le degré de sensibilité attribué au périmètre du plan d'affectation cantonal (degré III). Selon les recourants, ce plan serait contraire aux principes de l'aménagement du territoire consacrés en particulier par le plan directeur cantonal.
Le Département des infrastructures (autorité ayant approuvé le plan litigieux) et le Département des institutions et relations extérieures (première autorité cantonale de recours et promoteur du projet, par son service pénitentiaire) ont répondu ensemble au recours; ils concluent à son rejet.
Le Tribunal administratif conclut également au rejet du recours.
La commune de Payerne a renoncé à répondre au recours.
L'Office fédéral de l'environnement, des forêts et du paysage (OFEFP) a été invité à se déterminer sur la question des degrés de sensibilité au bruit. Au terme de ses observations, il estime que le Tribunal administratif n'a pas violé le droit fédéral de la protection de l'environnement.

Considérant en droit :
1.- Le Tribunal fédéral examine d'office et librement la recevabilité des recours qui lui sont soumis (<ref-ruling> consid. 1 p. 209 et les arrêts cités).
Les recourants n'indiquent pas par quelle voie ils agissent devant le Tribunal fédéral. Ils se réfèrent, au sujet de la qualité pour recourir, à l'art. 103 OJ, applicable à la procédure du recours de droit administratif (art. 97 ss OJ). Dans leurs moyens, ils dénoncent une violation de leurs droits constitutionnels - la garantie de la propriété (art. 26 Cst.) -, ce dont on se plaint en principe par la voie du recours de droit public (art. 83 ss OJ; cf. art. 84 al. 1 let. a OJ).
Il convient dès lors d'examiner la recevabilité de ces deux recours, en commençant par celle du recours de droit administratif, le recours de droit public étant subsidiaire aux autres moyens de droit (art. 84 al. 2 OJ; <ref-ruling> consid. 1 p. 381).
2.- a) En vertu de l'art. 34 al. 3 de la loi fédérale sur l'aménagement du territoire (LAT; RS 700), la voie du recours de droit public est en principe seule ouverte, devant le Tribunal fédéral, contre les décisions prises par les autorités cantonales de dernière instance concernant des plans d'affectation. La jurisprudence admet cependant qu'une décision relative à l'adoption d'un plan d'affectation fasse l'objet d'un recours de droit administratif, lorsque l'application du droit fédéral de la protection de l'environnement, ou d'autres prescriptions du droit public fédéral en matière de protection des biotopes, des forêts, etc. , est en jeu, notamment quand le plan se rapporte à un projet concret (<ref-ruling> consid. 2a p. 13; <ref-ruling> consid. 1a p. 91, 231 consid. 2 p. 233; <ref-ruling> consid. 1b p. 75 et les arrêts cités).
b) La décision attaquée est fondée, notamment, sur les dispositions de l'ordonnance sur la protection contre le bruit (OPB; RS 814. 41) relatives aux degrés de sensibilité (art. 43 et 44 OPB). L'<ref-law> définit les degrés de sensibilité (I, II, III ou IV) en fonction des zones où ils sont applicables. Ces degrés doivent en règle générale être attribués aux zones d'affectation dans les règlements ou les plans d'affectation (art. 44 al. 1 et 2 OPB).
En l'espèce, la contestation porte notamment sur l'attribution du degré de sensibilité III au périmètre du plan d'affectation cantonal, les recourants faisant valoir qu'il est inadéquat compte tenu de la destination de la zone, définie en vertu des règles de l'aménagement du territoire.
L'application de l'<ref-law> est donc en jeu et, en tant que cet élément spécifique du plan d'affectation cantonal est litigieux, la voie du recours de droit administratif est ouverte (cf. <ref-ruling> consid. 3c p. 294 ss). Les recourants, propriétaires fonciers dans le voisinage de l'établissement projeté, ont un intérêt digne de protection à l'annulation ou à la modification de la décision attaquée; aussi ont-ils qualité pour recourir au sens de l'art. 103 let. a OJ (<ref-ruling> consid. 1c p. 302; <ref-ruling> consid. 3a p. 303; <ref-ruling> consid. 2b p. 174 et les arrêts cités). Le recours est donc recevable, dans cette mesure, comme recours de droit administratif.
3.- Les recourants critiquent le degré de sensibilité au bruit (degré III) attribué au périmètre du plan d'affectation cantonal. Ils font valoir d'une part que le degré II aurait été plus conforme à la destination de cette zone, où les activités artisanales ont un but thérapeutique. D'autre part, ils invoquent les inconvénients liés à ce changement d'affectation, pour les propriétaires des terrains industriels voisins, le périmètre litigieux étant auparavant en zone industrielle, moins sensible au bruit; ils prétendent ainsi, implicitement, que le maintien du degré de sensibilité IV leur serait plus favorable.
a) L'<ref-law> énumère les degrés de sensibilité à appliquer dans les diverses zones d'affectation.
L'autorité compétente, dans la procédure permettant l'attribution de ces degrés, doit examiner si la zone concernée, telle qu'elle est définie dans les instruments d'aménagement du territoire, est une zone qui requiert une protection accrue contre le bruit (<ref-law>), une zone où aucune entreprise gênante n'est autorisée (<ref-law>), une zone où sont admises des entreprises moyennement gênantes (art. 43 al. 1 let. c OPB), ou encore une zone où sont admises des entreprises fortement gênantes (art. 43 al. 1 let. d OPB); suivant les cas, les degrés I, II, III ou IV devront respectivement être appliqués. Le pouvoir d'appréciation de l'autorité est assez limité à ce propos, vu les définitions de l'<ref-law> (<ref-ruling> consid. 2c/bb p. 295).
b) Le Tribunal administratif s'est fondé en l'espèce sur la définition de l'affectation de la zone énoncée à l'art. 3 RPAC (constructions d'utilité publique destinées à de l'hébergement à caractère social en milieu fermé ainsi que d'autres activités et installations publiques compatibles) et sur la nature de la construction projetée à cet endroit (établissement de type carcéral disposant de différents ateliers de travail). Il a jugé qu'il s'agissait bel et bien d'une zone où sont admises des entreprises moyennement gênantes au sens de l'art. 43 al. 1 let. c OPB, disposition qui mentionne du reste à titre d'exemple les "zones d'habitation et artisanales (zones mixtes)". Il en découle que le degré de sensibilité III doit y être attribué.
La mixité entre logement et activités artisanales (ateliers) a ainsi été considérée comme l'élément déterminant de ce point de vue, justifiant le degré III, ce que l'OFEFP admet dans ses observations sur le recours. La mention des "zones réservées à des constructions et installations publiques" à l'<ref-law>, parmi les "zones où aucune entreprise gênante n'est autorisée" (degré II), n'exclut pas d'assimiler dans certains cas une zone d'utilité publique (cf. art. 3 RPAC) à une zone mixte au sens de l'art. 43 al. 1 let. c OPB; la zone litigieuse n'est du reste pas destinée à des constructions ou installations publiques usuelles (écoles, installations sportives, bâtiments administratifs).
Aussi le Tribunal administratif n'a-t-il pas abusé de son pouvoir d'appréciation dans l'application de l'<ref-law>.
Les recourants n'étaient donc pas fondés à demander l'attribution du degré II ou du degré IV (la cohérence de l'alternative proposée n'ayant pas à être examinée).
Le recours de droit administratif doit en conséquence être rejeté.
4.- Les recourants invoquent par ailleurs la garantie de la propriété (art. 26 Cst.) en se plaignant des restrictions découlant, pour l'utilisation de leurs biens-fonds, du changement d'affectation dans le périmètre du plan cantonal.
a) Les recourants exposent que le passage du régime de la zone industrielle communale, où s'applique le degré de sensibilité IV (art. 43 al. 1 let. d OPB), à celui d'une zone d'utilité publique mixte, où s'applique le degré III, entraîne pour les voisins l'obligation de limiter plus sévèrement les émissions de bruit de leurs installations, afin que les valeurs limites d'exposition ne soient pas dépassées dans le futur établissement médico-social. Ces restrictions seraient une conséquence d'une mauvaise application des règles de l'aménagement du territoire, car le plan d'affectation cantonal violerait les principes du plan directeur cantonal.
Par cette argumentation, les recourants ne se plaignent plus d'une violation des règles fédérales sur la protection contre le bruit, mais d'une violation du droit de l'aménagement du territoire, ayant pour effet de restreindre les possibilités d'utilisation de leurs propres immeubles.
C'est par la voie du recours de droit public que ce moyen doit être présenté, conformément à l'art. 34 al. 3 LAT (cf.
supra, consid. 2a).
b) Aux termes de l'art. 88 OJ, ont qualité pour recourir les particuliers ou les collectivités lésés par des arrêtés ou décisions qui les concernent personnellement ou qui sont de portée générale. Contre une décision relative à l'adoption d'un plan d'affectation, le recours de droit public n'est ainsi ouvert, selon la jurisprudence, qu'à celui qui est atteint par l'acte attaqué dans ses intérêts personnels et juridiquement protégés; le recours formé pour sauvegarder l'intérêt général, ou visant à préserver de simples intérêts de fait, est en revanche irrecevable (<ref-ruling> consid. 1a p. 44, 81 consid. 3b p. 85; <ref-ruling> consid. 1c et les arrêts cités).
La décision attaquée, en confirmant la décision d'approbation du plan d'affectation cantonal, ne modifie pas le mode d'utilisation, défini conformément à l'art. 14 al. 1 LAT par le plan général d'affectation de la commune, des biens-fonds des recourants, qui demeurent classés dans la zone industrielle. Cette décision n'a pas non plus pour effet de modifier les règles d'aménagement et de police des constructions sur les terrains directement voisins de ceux des recourants, qui restent eux aussi classés dans la zone industrielle. Les recourants ne prétendent donc pas que le nouveau plan modifierait ou supprimerait une règle du plan antérieur qui était destinée, en tout cas accessoirement, à la protection des intérêts des voisins, telle qu'une norme sur le volume admissible des constructions, sur le coefficient d'utilisation du sol, voire sur la distance entre les constructions et la limite de la propriété (cf. <ref-ruling> consid. 1b p. 364; <ref-ruling> consid. 1b p. 115, 232 consid. 1a-b p. 234 s. et les arrêts cités; voir aussi l'arrêt du 12 décembre 2000, commune de Wollerau, destiné à la publication, consid. 2d).
Cela étant, il est vrai que dans l'hypothèse d'une nouvelle construction industrielle sur une des parcelles des recourants, ou en cas de transformation d'un bâtiment existant sur ces parcelles, le droit fédéral - qui prescrit le respect de valeurs limites en pareil cas (cf. <ref-law>, art. 7 et 8 OPB, notamment) - ne pose pas les mêmes exigences suivant que les bâtiments du voisinage comportant des locaux à usage sensible au bruit sont classés dans une zone de degré de sensibilité III ou IV. Les valeurs limites d'exposition au bruit de l'industrie, des arts et métiers (annexe 6 de l'OPB) sont en effet inférieures de 5 dB(A) lorsque le degré III est applicable, par rapport à ce qui est prévu pour le degré IV.
Le changement d'affectation d'un terrain, avec comme corollaire le passage du degré IV au degré III, peut donc entraîner l'obligation pour les propriétaires voisins - à tout le moins ceux qui se trouvent à environ 150 m du périmètre du plan d'affectation litigieux, comme les actuels recourants, et que la réglementation communale autorise à construire des installations bruyantes - de limiter plus sévèrement les émissions de bruit de leurs installations actuelles ou futures.
Cela a donc, dans cette mesure, un effet direct sur le mode d'utilisation de leurs immeubles. On peut ainsi admettre que les recourants, en leur qualité de propriétaires fonciers voisins en zone industrielle, se prévalent d'une atteinte à leurs intérêts juridiquement protégés (cf. ATF <ref-ruling> consid. 1c p. 443; <ref-ruling> consid. 1b p. 365). Ils remplissent donc les conditions de l'art. 88 OJ.
c) Selon l'art. 90 al. 1 let. b OJ, l'acte de recours doit contenir un exposé des faits essentiels et un exposé succinct des droits constitutionnels ou des principes juridiques violés, précisant en quoi consiste la violation.
Il résulte de cette obligation de motiver que le Tribunal fédéral n'examine que les griefs soulevés de manière claire et explicite. Le recourant ne saurait se contenter de critiquer la décision attaquée de manière appellatoire, en reprenant les arguments développés en dernière instance cantonale; il doit au contraire exposer en quoi leur rejet par l'autorité cantonale violerait le droit constitutionnel (<ref-ruling> consid. 1c p. 76, 492 consid. 1b p. 495; <ref-ruling> consid. 1c p. 414 et les arrêts cités).
En l'espèce, il n'est pas certain que l'acte des recourants satisfasse à ces exigences. Cette question peut toutefois demeurer indécise, vu le sort de leurs conclusions.
Il y a donc lieu, dans cette mesure, d'entrer en matière.
5.- Les recourants prétendent que l'adoption du plan d'affectation cantonal irait à l'encontre des principes de l'art. 3 LAT régissant l'aménagement du territoire ainsi que des principes et objectifs du plan directeur cantonal.
a) En invoquant la garantie de la propriété, les recourants ne mettent pas en cause l'intérêt public du projet d'établissement médico-social ni de la mesure de planification censée permettre sa réalisation. Ils n'expliquent pas davantage en quoi, concrètement, les restrictions à l'utilisation de leurs biens-fonds seraient disproportionnées. Ils se bornent à critiquer le choix du site, qui violerait des principes de la loi ou du plan directeur, lequel a force obligatoire pour les autorités (cf. art. 9 al. 1 LAT).
Les restrictions qui découlent pour eux du changement d'affectation litigieux ne sont, à l'évidence, pas graves.
Même avant le plan d'affectation cantonal, les recourants devaient respecter les normes du droit fédéral sur la limitation des émissions de bruit (<ref-law>), une zone industrielle, comprenant des locaux d'exploitation, n'étant pas soustraite à leur champ d'application. Le changement de degré de sensibilité (passage du degré IV au degré III) ne modifie pas fondamentalement les exigences, d'autant plus qu'une certaine distance (150 m) sépare les terrains concernés.
En outre, comme le Tribunal administratif l'a relevé, le fait qu'une installation ne provoque aucun dépassement des valeurs limites d'exposition dans le voisinage n'empêche pas l'autorité d'ordonner des mesures de limitation préventive des émissions aux conditions de l'<ref-law> (cf. <ref-ruling> consid. 4b p. 521). Dans ces conditions, en l'absence d'atteinte grave au droit de propriété, le Tribunal fédéral n'examine que sous l'angle de l'arbitraire les règles et principes d'aménagement du territoire dont les recourants se prévalent (<ref-ruling> consid. 5c/bb p. 96, 141 consid. 3b/dd p. 147 et les arrêts cités; cf. aussi <ref-ruling> consid. 4b/aa p. 8; <ref-ruling> consid. 3a/bb p. 120; <ref-ruling> consid. 3a p. 366). Il n'annulera donc la décision attaquée que si elle méconnaît gravement une norme ou un principe juridique clair et indiscuté ou si elle heurte de manière choquante le sentiment de la justice ou de l'équité. En d'autres termes, le Tribunal fédéral ne s'écarte de la solution retenue en dernière instance cantonale que si elle est insoutenable, en contradiction manifeste avec la situation effective, si elle a été adoptée sans motif objectif ou en violation d'un droit certain. Il ne suffit pas que la motivation de la décision soit insoutenable; encore faut-il qu'elle soit arbitraire dans son résultat (<ref-ruling> consid. 2a p. 168; <ref-ruling> consid. 3a p. 15, 129 consid. 5b p. 134; <ref-ruling> consid. 2b p. 139; <ref-ruling> consid. 2a p. 88 et les arrêts cités).
b) Le Tribunal administratif a examiné le plan d'affectation cantonal à la lumière des buts et principes généraux de l'aménagement du territoire, tels qu'ils sont consacrés notamment à l'art. 1er LAT (assurer une utilisation mesurée du sol et une occupation du territoire propre à garantir un développement harmonieux de l'ensemble du pays) ou aux art. 2 al. 2 et 73 Cst. (développement durable). Il a rappelé la fonction du plan directeur cantonal (art. 6 ss LAT) pour la mise en oeuvre de ces principes. Il a ensuite mentionné certains éléments du contenu du plan directeur du canton de Vaud: les principes fondamentaux de la régionalisation et de la décentralisation concentrée; les objectifs pour la ville de Payerne (centre régional pour lequel des efforts particuliers doivent être fournis en vue de le maintenir à son niveau et de le renforcer); les objectifs pour l'implantation des constructions et installations publiques (favoriser une décentralisation judicieuse dans les centres du réseau urbain, répartir les emplois nouveaux entre les régions, etc.). Il a considéré que le projet litigieux respectait ces différents principes ou objectifs, et donc que le choix du site était non seulement adéquat mais conforme au plan directeur cantonal.
Les recourants critiquent cette appréciation, en soutenant en substance qu'aucune étude n'apporte la preuve de la conformité du projet au plan directeur cantonal, qu'un établissement carcéral ne serait pas un apport positif au développement de la région, que le site choisi, vu l'environnement industriel, ne serait pas propice aux personnes placées et qu'il serait trop éloigné des autres établissements pénitentiaires du canton, que la zone industrielle perdrait de son homogénéité et, en définitive, que la mesure de planification ne répondrait à aucune logique. Ces arguments ne conduisent manifestement pas à considérer que le Tribunal administratif aurait interprété de manière arbitraire le contenu du plan directeur cantonal; la justification du plan d'affectation litigieux dans la décision attaquée, reposant sur ces principes généraux qui confèrent un large pouvoir d'appréciation aux autorités chargées de les appliquer, apparaît au contraire défendable.
Le grief de violation du droit constitutionnel est en conséquence mal fondé et le recours de droit public doit être rejeté.
6.- Les recourants, qui succombent, doivent payer l'émolument judiciaire conformément aux art. 153, 153a et 156 al. 1 OJ. L'Etat de Vaud n'a pas droit à des dépens (art. 159 al. 1 et 2 OJ).

Par ces motifs,
le Tribunal fédéral :
1. Rejette le recours de droit administratif;
2. Rejette le recours de droit public, dans la mesure où il est recevable;
3. Met un émolument judiciaire de 3'000 fr. à la charge des recourants;
4. Communique le présent arrêt en copie aux mandataires des recourants et des départements cantonaux intimés, à la municipalité de la commune de Payerne (autorité intéressée), au Tribunal administratif du canton de Vaud et à l'Office fédéral de l'environnement, des forêts et du paysage.
_
Lausanne, le 16 janvier 2001 JIA/col
Au nom de la Ie Cour de droit public
du TRIBUNAL FEDERAL SUISSE:
Le Président,
Le Greffier,