A.- Le Département des infrastructures du canton de Vaud a approuvé le 22 février 1999 le plan d'affectation cantonal "Vuaz Vauchy", qui modifie la destination d'un secteur, d'une surface de 4'150 m2 environ, d'une zone industrielle de la commune de Payerne. Selon le règlement du plan d'affectation cantonal (RPAC), cette mesure de planification vise à permettre l'édification d'un "établissement médico-social sécurisé" (art. 1 RPAC). Cet établissement devrait être construit et exploité par la fondation de droit public "La Passerelle"; il comporterait des locaux d'habitation et des ateliers et il serait destiné à accueillir quinze détenus hommes confrontés à un handicap psychique. Actuellement, le terrain (réparti sur trois parcelles) appartient à la commune de Payerne, à la Confédération suisse et à la société anonyme Morandi Frères S.A. Le règlement du plan d'affectation cantonal définit notamment le volume et la hauteur des bâtiments prévus (art. 4 ss RPAC); il prévoit l'attribution du degré de sensibilité au bruit III à l'ensemble du périmètre (art. 11 RPAC). En approuvant le plan, le Département des infrastructures a rejeté les oppositions qui avaient été formées lors de l'enquête publique. Une de ces oppositions émanait de deux propriétaires fonciers voisins, dans la zone industrielle (régie par le plan des zones de la commune de Payerne) dont faisait partie auparavant le terrain destiné à l'établissement médico-social: A._, propriétaire de la parcelle n° 2169 où se trouvent des installations industrielles, et B._, propriétaire de la parcelle n° 4767 où se trouve une maison d'habitation. Ces terrains se situent à environ 150 m de la limite nord du périmètre du plan d'affectation cantonal. B.- A._ et B._ ont recouru contre la décision du Département des infrastructures auprès du Département cantonal des institutions et des relations extérieures, selon la procédure prévue à l'art. 73 al. 3 et 4 de la loi cantonale sur l'aménagement du territoire et les constructions (LATC). Ils faisaient en substance valoir que le plan d'affectation cantonal n'était pas conforme aux principes de l'aménagement du territoire ni à ceux du plan directeur cantonal; ils critiquaient en outre l'attribution du degré de sensibilité au bruit III. Par prononcé du 14 juillet 1999, le Département des institutions et des relations extérieures a rejeté le recours. C.- A._ et B._ ont recouru contre ce prononcé auprès du Tribunal administratif du canton de Vaud, en développant les critiques qu'ils avaient déjà formulées devant le département. Le Tribunal administratif a rejeté ce recours par un arrêt rendu le 20 septembre 2000. Il a admis la conformité du plan d'affectation cantonal aux principes du plan directeur cantonal en matière de régionalisation et de décentralisation concentrée. Il a en outre considéré que l'attribution du degré de sensibilité III au périmètre du plan d'affectation cantonal était conforme au droit fédéral, vu la destination de cette zone spéciale, et que cela n'entraînait pas de restrictions significatives, du point de vue des exigences relatives à la limitation des émissions de bruit, pour les propriétaires d'installations voisines en zone industrielle. D.- A._ et B._ ont adressé au Tribunal fédéral, le 20 octobre 2000, un acte intitulé "recours", au terme duquel ils concluent à la réforme de l'arrêt du Tribunal administratif, dans le sens d'une admission de leur opposition, et subsidiairement à l'annulation de cet arrêt. Ils se plaignent d'une atteinte à leur droit de propriété garanti par la Constitution fédérale, à cause des limitations des émissions de bruit qu'impliquerait, dans le voisinage, la présence d'un établissement médico-social situé dans une zone dont le degré de sensibilité n'est pas celui de la zone industrielle; ils critiquent du reste le degré de sensibilité attribué au périmètre du plan d'affectation cantonal (degré III). Selon les recourants, ce plan serait contraire aux principes de l'aménagement du territoire consacrés en particulier par le plan directeur cantonal. Le Département des infrastructures (autorité ayant approuvé le plan litigieux) et le Département des institutions et relations extérieures (première autorité cantonale de recours et promoteur du projet, par son service pénitentiaire) ont répondu ensemble au recours; ils concluent à son rejet. Le Tribunal administratif conclut également au rejet du recours. La commune de Payerne a renoncé à répondre au recours. L'Office fédéral de l'environnement, des forêts et du paysage (OFEFP) a été invité à se déterminer sur la question des degrés de sensibilité au bruit. Au terme de ses observations, il estime que le Tribunal administratif n'a pas violé le droit fédéral de la protection de l'environnement.