A.- Après avoir travaillé comme saisonnier en Suisse pendant quelques années, KM._, ressortissant yougoslave, a déposé en 1996 une demande d'asile qui a été définitivement rejetée le 19 mars 1997. Un délai échéant le 31 août 1997 lui a été fixé pour quitter la Suisse. Le 27 novembre 1997, KM._ a épousé une compatriote, FA._, au bénéfice d'une autorisation d'établissement. L'Office cantonal de contrôle des habitants et de police des étrangers du canton de Vaud (ci-après: l'Office cantonal) a demandé à la police cantonale d'enquêter sur les circonstances de ce mariage. Il ressort notamment du rapport de police établi le 7 décembre 1998 que KM._ ne vivait pas à la même adresse que sa femme: il n'avait jamais été vu par la concierge de l'immeuble et son nom ne figurait pas sur la boîte aux lettres. L'intéressé avait déclaré à la police qu'il n'avait aucune connaissance de la langue française, alors même qu'il était censé vivre à Lausanne depuis plus d'une année. Il ne connaissait pas exactement le lieu de travail de sa femme. Lors d'une visite de l'appartement intervenue le 29 novembre 1998, il a été constaté qu'il ne possédait pas la clef de la porte d'entrée de l'appartement et qu'il n'avait pratiquement pas d'effets et d'objets personnels. En fonction de l'état des lieux et notamment de la chambre à coucher, il était évident que le logement n'était occupé que par une femme seule. Par décision du 9 février 1999, l'Office cantonal a refusé de délivrer une autorisation de séjour à KM._, au motif que, sur la base dudit rapport de police, il existait suffisamment d'indices permettant de conclure que le mariage n'avait été contracté que dans le but d'éluder les prescriptions en matière de police des étrangers. B.- KM._ et son épouse ont recouru contre cette décision auprès du Tribunal administratif du canton de Vaud en faisant valoir notamment que, bien qu'ayant son domicile principal à Lausanne où il vivait avec sa femme, KM._ avait dû garder un studio à Bienne, où il travaillait, car il ne pouvait pas rentrer tous les soirs à Lausanne. Le 13 mars 2000, la section du Tribunal administratif appelée à statuer sur le fond a notamment procédé, en présence des parties assistées de leur avocat, à l'audition de deux témoins, à savoir X._ (belle-soeur de KM._) et l'inspecteur Y._, auteur du rapport de police. Les dépositions de ces témoins n'ont pas été consignées dans un procès-verbal d'audience. Par arrêt du 27 mars 2000, le Tribunal administratif a confirmé la décision de l'Office cantonal. Les déclarations des parties, de même que les témoignages, ont été résumés dans ce jugement. C.- Agissant par la voie du recours de droit administratif, KM._ et son épouse demandent au Tribunal fédéral, principalement, d'annuler l'arrêt du 27 mars 2000 du Tribunal administratif et d'octroyer à KM._ une autorisation de séjour. Le Service de la population cantonal s'en remet aux observations du Tribunal administratif, lequel a renoncé à déposer sa réponse. Quant à l'Office fédéral des étrangers, il conclut au rejet du recours. D.- Par ordonnance présidentielle du 14 juin 2000, la demande d'effet suspensif au recours a été admise.