Faits: Faits: A. C._ et consorts sont copropriétaires de la parcelle n° 909 du registre foncier, sur le territoire de la commune de Riex, au lieu-dit "Le Lanciau". Cette parcelle a une surface totale de 7'745 m2. Elle est cultivée en vigne (à raison de 5'624 m2) et il s'y trouve un ancien bâtiment d'habitation, désaffecté et en mauvais état, d'une surface au sol de 59 m2. Le plan des zones de la commune de Riex, adopté par le conseil communal le 12 mai 1982 et approuvé par le Conseil d'Etat du canton de Vaud le 2 novembre 1983, classe la partie de la parcelle n° 909 comprenant l'ancien bâtiment et ses abords (environ 700 m2 au total) dans une zone, teintée en rouge, décrite (dans la légende du plan) comme un "secteur de la zone viticole pour construction en relation directe avec la viticulture, selon art. 9 alinéa 3 RPE". Le reste de la parcelle n° 909 est en zone viticole (teintée en vert). Le terrain directement voisin au sud est en zone agricole. L'affectation de la zone viticole est définie aux art. 8 à 10 du règlement communal sur le plan d'extension et la police des constructions (RPE), adopté et mis en vigueur en même temps que le plan des zones. Ces dispositions ont la teneur suivante: Art. 8 La zone viticole est principalement destinée à la culture de la vigne. Toute arborisation est soumise à l'autorisation préalable de la municipalité, les plantations propres à nuire aux vignes avoisinantes étant interdites. Art. 9 Les ouvrages, aménagements et installations en relation directe avec l'exploitation de la vigne sont autorisés. Sont également autorisés les petits bâtiments annexes à usage professionnel, directement liés à la viticulture et complémentaires du centre d'exploitation principal. Dans les secteurs définis par le plan et pour autant qu'un besoin objectivement fondé le justifie, la municipalité peut autoriser l'édification de constructions en rapport direct avec l'exploitation de la culture de la vigne, ainsi que des bâtiments d'habitation de l'exploitant et de son personnel. Ces constructions devront être conçues de manière à s'harmoniser avec le site en respectant l'architecture de la région, la distance à la limite de propriété voisine ne pouvant être inférieure à 8 m. Les art. 6.3 à 6.6 sont applicables. Art. 10 Les constructions d'intérêt public, dont la localisation s'impose en zone viticole, sont autorisées à condition de s'harmoniser avec le site. Les constructions d'intérêt public, dont la localisation s'impose en zone viticole, sont autorisées à condition de s'harmoniser avec le site. B. C._ et consorts ont adressé en août 2000 à la Municipalité de la commune de Riex (ci-après: la municipalité) une demande de permis de construire pour la transformation et l'agrandissement de la maison existante sur leur parcelle ainsi que pour la création, à proximité, de locaux enterrés pour du matériel viticole. La surface au sol du bâtiment serait portée à 120 m2; il abriterait, sur trois niveaux, un logement pour l'exploitant d'un domaine viticole, un logement pour le personnel, des caves et deux garages. C._, qui est viticulteur, a conclu avec les deux autres copropriétaires une promesse de vente; il envisage d'habiter ce bâtiment. Le projet a été mis à l'enquête publique du 25 août au 13 septembre 2000. A._ et B._ ont formé opposition. Ils sont propriétaires de la parcelle voisine n° 908, où se trouve leur maison d'habitation. Ils faisaient valoir, en substance, qu'il n'y aurait aucune nécessité pour l'exploitant du domaine viticole d'habiter sur place, hors de la zone à bâtir. Le 20 novembre 2000, le Département cantonal des infrastructures, par le Service de l'aménagement du territoire, a fait savoir qu'il ne délivrerait pas l'autorisation spéciale exigée par la loi cantonale pour les constructions hors des zones à bâtir (cf. art. 120 let. a de la loi cantonale sur l'aménagement du territoire et les constructions [LATC]). Il a qualifié le projet de beaucoup trop important au regard des critères des art. 24 ss de la loi fédérale sur l'aménagement du territoire (LAT; RS 700). En conséquence, le 28 novembre 2000, la municipalité a informé C._ et consorts qu'elle refusait le permis de construire. Le 20 novembre 2000, le Département cantonal des infrastructures, par le Service de l'aménagement du territoire, a fait savoir qu'il ne délivrerait pas l'autorisation spéciale exigée par la loi cantonale pour les constructions hors des zones à bâtir (cf. art. 120 let. a de la loi cantonale sur l'aménagement du territoire et les constructions [LATC]). Il a qualifié le projet de beaucoup trop important au regard des critères des art. 24 ss de la loi fédérale sur l'aménagement du territoire (LAT; RS 700). En conséquence, le 28 novembre 2000, la municipalité a informé C._ et consorts qu'elle refusait le permis de construire. C. C._ et consorts ont recouru contre ce refus d'autorisation auprès du Tribunal administratif cantonal. L'inspection locale et l'audience principale ont eu lieu le 31 octobre 2001. Le Tribunal a statué par un arrêt rendu le 31 août 2004. Il a admis le recours, annulé la décision du 20 novembre 2000 du Département des infrastructures, Service de l'aménagement du territoire, et renvoyé l'affaire à ce service pour nouvelle décision. L'émolument judiciaire, par 2'000 fr., a été mis à la charge de A._ et B._. L'Etat de Vaud a été condamné à verser 2'000 fr. de dépens à C._ et consorts. Le Tribunal administratif a considéré, en substance, que les quatre "secteurs à construction viticole" du plan des zones de la commune (en rouge sur le plan) formaient une zone spéciale au sens de l'art. 18 LAT et que les restrictions généralement prévues, en zone agricole, pour la création de locaux d'habitation destinés à l'exploitant du domaine, ne s'y appliquaient pas. Ce statut particulier résulterait de la loi cantonale du 12 février 1979 sur le plan de protection de Lavaux (LPPL), dont l'art. 15 let. c permet aux communes de "déterminer dans leurs plans des secteurs où des constructions en relation directe avec la viticulture sont autorisées". Le refus de l'autorisation spéciale pour le projet litigieux serait ainsi fondé sur des considérations non pertinentes. L'affaire a par conséquent été renvoyée au Service de l'aménagement du territoire car, pour le Tribunal administratif, la zone formée des secteurs de la zone viticole régis par l'art. 9 al. 3 RPE ne fait pas partie de la zone à bâtir, ce qui a pour conséquence que les projets de construction nécessitent une autorisation spéciale selon l'art. 120 let. a LATC, délivrée par le département cantonal compétent. Le Service de l'aménagement du territoire a ainsi été invité à se prononcer "sur l'application des dispositions déterminantes de la LPPL (en particulier sur la condition d'un besoin objectivement fondé)", la municipalité devant ensuite statuer sur le permis de construire en application du règlement communal (consid. 5d de l'arrêt du 31 août 2004). Il est précisé dans l'arrêt qu'une procédure de coordination, selon l'art. 21 du règlement organique du Tribunal administratif (ROTA), a été organisée. Il est précisé dans l'arrêt qu'une procédure de coordination, selon l'art. 21 du règlement organique du Tribunal administratif (ROTA), a été organisée. D. Agissant par la voie du recours de droit administratif, A._ et B._ demandent au Tribunal fédéral de réformer l'arrêt du Tribunal administratif dans le sens d'un rejet du recours formé par C._ et consorts et d'une confirmation du refus d'autorisation cantonale, les frais et dépens étant supportés par les requérants de cette autorisation. A titre subsidiaire, ils demandent l'annulation de l'arrêt attaqué et le renvoi de l'affaire au Tribunal administratif pour nouvelle décision. Les recourants font valoir que la zone viticole de Riex - y compris les secteurs teintés en rouge sur le plan des zones - est, au sens de l'art. 16 LAT, une zone agricole. Le droit fédéral définit les constructions et installations conformes à l'affectation de cette zone; or la création de locaux d'habitation pour le viticulteur et son personnel n'y est en principe actuellement plus admise. Les recourants reprochent au Tribunal administratif une interprétation du droit cantonal aboutissant à l'application d'un régime juridique spécial distinct de celui des art. 16 ss et 24 ss LAT, et partant une violation de ces normes. Ils soutiennent qu'en revanche, la décision du département refusant l'autorisation spéciale appliquait correctement ces dispositions du droit fédéral de l'aménagement du territoire. Les recourants se plaignent encore d'un déni de justice formel (art. 29 Cst.), d'une violation de la garantie du juge naturel (art. 30 Cst.) - à cause de la procédure de coordination interne au Tribunal administratif, selon l'art. 21 ROTA - et d'une application arbitraire (art. 9 Cst.) des règles du droit cantonal sur les frais de justice. C._ et consorts concluent à l'irrecevabilité du recours de droit administratif, subsidiairement à son rejet. L'Office fédéral du développement territorial conclut à l'admission du recours. Le Tribunal administratif propose le rejet du recours. Le Service de l'aménagement du territoire, pour le département cantonal, a également été invité à répondre. Après l'échéance du délai de réponse, il en a demandé la restitution.