Faits: A. Le 15 janvier 2010, B._ a déposé une demande de permis de construire portant sur l'aménagement d'une place de stationnement sur la parcelle n° 1536 de la commune de Chexbres. Située en zone viticole, cette place, de 30 m de long sur 6 m de large, en léger dévers, est destinée aux véhicules de l'exploitation viticole. Elle comprend une zone de roulement en aval et une zone de parcage, le long du mur de soutènement. L'accès se ferait par la cour située au nord sur la parcelle n° 1668, laquelle dessert les bâtiments situés le long de la rue du Bourg de Plaît et comprend déjà trois places de parc pour les logements et trois places destinées à l'exploitation viticole. Mis à l'enquête le 30 janvier 2010, le projet a suscité l'opposition de A._, dont l'épouse est propriétaire de la parcelle voisine n° 1535, située à l'ouest le long de la même rue. La demande s'est heurtée aux refus des services cantonaux des forêts de la faune et de la nature (SFFN), et du développement territorial (SDT), au motif que le dossier ne comportait pas de notice ou de plan permettant de vérifier l'intégration paysagère, s'agissant d'un site protégé tel que celui de Lavaux figurant à l'Inventaire fédéral des paysages, sites et monuments naturels d'importance nationale (IFP) ainsi qu'à l'inventaire cantonal (IMNS). Au mois d'août 2010, une visite a eu lieu sur place, puis le constructeur a déposé de nouveaux plans. Le 7 septembre 2010, la Centrale des autorisations CAMAC a fait état de l'octroi des différentes autorisations spéciales requises, notamment du SFFN et du SDT: l'emplacement proposé était le moins dommageable. L'autorisation était soumise à certaines conditions (plantation de vignes le long du mur amont, mouvements de terre minimaux, mur aval en pierres de taille et revêtement perméable ou plaques engazonnées). La Municipalité de Chexbres a délivré le permis de construire le 1er octobre 2010, écartant l'opposition. B. Par arrêt du 23 novembre 2011, la Cour de droit administratif et public du Tribunal cantonal vaudois a rejeté, dans la mesure de sa recevabilité, le recours formé par A._, et a confirmé la décision municipale du 1er octobre 2010. Le recourant prétendait agir essentiellement pour la protection du site de Lavaux; sa qualité pour agir était dès lors douteuse. L'aménagement litigieux était destiné au stationnement de deux camionnettes avec un pont pour machines agricoles, d'un véhicule pour le transport de personnel et de matériel et d'une fourgonnette servant à la livraison du vin, soit des véhicules servant à l'exploitation. Trois véhicules d'exploitation occupaient actuellement la cour existante, exiguë, ce qui gênait les manoeuvres et l'accès pour l'exploitation et les clients. La place projetée permettrait de résoudre les problèmes d'accès et de rebroussement; elle n'était pas surdimensionnée et aucun autre endroit en zone à bâtir ne se prêtait à la même utilisation. L'actuelle loi cantonale sur le plan de protection de Lavaux du 12 février 1979 (ci-après: LLavaux; RS/VD 701.43), qui équivalait à un plan directeur cantonal, ne pouvait être invoquée par le recourant. Les conditions complémentaires posées à l'autorisation de construire permettaient une intégration satisfaisante, les environs étant déjà très urbanisés. L'initiative populaire "Sauver Lavaux", qui faisait l'objet d'un recours au Tribunal fédéral après son invalidation par la Cour constitutionnelle cantonale, ne justifiait pas un refus du projet fondé sur l'art. 77 de la loi cantonale sur l'aménagement du territoire et les constructions (LATC, RS/VD 700.11; effet anticipé négatif). Le projet empiétait légèrement sur la limite des constructions fixée par le plan communal d'extension et de la police des constructions (PEP); une dérogation était toutefois possible car l'irrégularité était de minime importance, ne se rapportait pas à un bâtiment et ne provoquait pas d'inconvénient majeur pour autrui. C. Agissant par la voie du recours en matière de droit public, A._ demande au Tribunal fédéral de réformer l'arrêt cantonal en ce sens que l'autorisation de construire est annulée, subsidiairement de renvoyer la cause à la cour cantonale pour complément d'instruction et nouvelle décision au sens des considérants. La cour cantonale se réfère à son arrêt, sans déterminations. Le SDT conclut au rejet du recours. Le SFFN se réfère aux observations formulées en instance cantonale. La Municipalité conclut au rejet du recours dans la mesure où il est recevable. B._ conclut à l'irrecevabilité, subsidiairement au rejet du recours. L'Office fédéral du développement territorial a renoncé à déposer des observations. Dans ses dernières déterminations, le recourant persiste dans les conclusions de son recours. L'effet suspensif requis par le recourant a été accordé par ordonnance du 3 février 2012.