Faits: A. Le 11 mars 2008, la commune de Payerne a mis à l'enquête publique le plan partiel d'affectation "Le Vernex" (ci-après: le PPA), destiné à des activités artisanales, commerciales, hôtelières, ainsi que de sports et loisirs. Situé le long de la route cantonale Lausanne-Berne, en face du Golf des Invuardes à environ un kilomètre et demi du centre-ville, le secteur concerné est composé des parcelles n° 1406, 4646 et 1745, d'une surface totale de 55'309 m2, déjà en zone industrielle. Il comprend trois périmètres d'implantation. Le périmètre A est destiné aux activités fortement gênantes (karting en plein air), avec un degré de sensibilité IV. Il comprend déjà deux halles destinées l'une à un karting intérieur, l'autre à un espace de jeux, exploités par la société C._. Les périmètres B (pouvant accueillir un parking) et C (situé de l'autre côté de la route cantonale et comprenant une station-service) sont destinés à des activités moyennement gênantes, avec un degré de sensibilité III. Le plan et son règlement fixent notamment les distances aux limites et entre bâtiments, les hauteurs maximales de constructions (16 m pour le périmètre A et 12 m pour les périmètres B et C), une surface de verdure de 20% au minimum, un accès par la route cantonale et un nombre de places de stationnement conforme aux normes VSS. Des mesures de protection contre le bruit seront réalisées en cas d'activités fortement gênantes (p. ex. karting en plein air). Il s'agit d'une digue anti-bruit de 1,5 m sur deux côtés du périmètre A comprenant la piste de karting extérieure, avec une digue complémentaire du côté du Golf des Invuardes. Selon l'étude de bruit du 28 juin 2007, l'exploitation du karting extérieur n'entraînera pas de dépassement des valeurs de planification sur les zones adjacentes au site. L'augmentation du trafic n'engendrera pas une perception d'immissions plus élevées. Les mesures de prévention sont les suivantes: pas de karting extérieur entre 19h et 7h, ni le lundi; pas de motos à l'extérieur; les digues et parois anti-bruit devraient permettre une réduction des charges sonores d'environ 1dB. Les préavis recueillis ont, en dernier lieu, été positifs. Après avoir fait remarquer que le secteur n'était pas desservi par les transports publics, le Service cantonal de la mobilité (SMob) a pris note qu'une étude était en cours à ce sujet. Le Service cantonal de l'environnement et de l'énergie (SEVEN) a pour sa part admis que le degré de sensibilité III (et non IV) soit attribué aux périmètres B et C. Il a par ailleurs fixé diverses conditions d'exploitation. Le PPA a fait l'objet d'une vingtaine d'oppositions, notamment de la part des époux A._, domiciliés à Corges à environ un kilomètre au sud-ouest du PPA. Les oppositions ont été levées le 3 juillet 2008 par le Conseil municipal de Payerne, et le PPA a été approuvé le 9 septembre 2008 par le Chef du Département cantonal de l'économie. B. Cette dernière décision a fait l'objet d'un recours auprès de la Cour de droit administratif et public du Tribunal cantonal vaudois (CDAP), formé par les époux A._ et par B._ qui avait acquis le 8 octobre 2008 la parcelle n° 314 du cadastre communal. Par arrêt du 17 août 2009, la CDAP a déclaré irrecevable le recours en tant qu'il était formé par les époux A._: leur propriété était trop éloignée du périmètre pour que le bruit provenant de l'installation soit perceptible. La CDAP a déclaré le recours recevable en tant qu'il était formé par B._: sa propriété était située à 500 m environ au sud-est du périmètre et il était possible que le bruit de l'exploitation soit perceptible aux moments où le trafic sur la RC 601 était moins important. Le recours a été rejeté sur le fond. L'affectation industrielle du secteur avait été progressivement abandonnée après la réalisation de la piscine communale, du Golf de Ivuardes, du stand de tir et des activités liées à l'équitation. Le PPA tenait compte de cette évolution de manière appropriée. Selon l'étude acoustique, les valeurs de planification étaient respectées pour les trois endroits les plus sensibles, notamment l'habitation de B._. L'accroissement de trafic sur la RC 601 ne causerait qu'une augmentation résiduelle, voire nulle des nuisances de bruit. Les conditions d'exploitation définies dans l'étude de bruit, et partie intégrante de la décision d'approbation, constituaient des mesures suffisantes de limitation préventive. Le grief relatif à l'obligation d'assurer une desserte par les transports publics relevait de l'opportunité. Une étude était d'ailleurs en cours à ce sujet. C. Les époux A._ et B._ forment un recours en matière de droit public par lequel ils demandent, principalement, l'annulation de l'arrêt cantonal et de la décision d'approbation, subsidiairement le renvoi de la cause à la CDAP pour nouvelle décision après complément d'instruction. Les recourants ont formé une demande d'effet suspensif, qui a été admise par ordonnance du 13 octobre 2009.