Faits: A. Le 1er mai 2009, la commune de Monthey a mis à l'enquête une demande d'autorisation de construire formée par F._, promettant-acquéreur des parcelles n° 58, 59, 62 et 63, d'une surface totale de quelque 700 m2. Le projet, qui implique la démolition de deux bâtiments sur les parcelles n° 58 et 59, porte sur la réalisation de deux immeubles le long de la rue du Château et de la ruelle du Châtelet, séparés par une cour intérieure, avec parking souterrain. Simultanément, la commune a mis à l'enquête un plan d'alignement urbain comprenant les parcelles précitées ainsi que les parcelles n° 64 (propriété de A._ et des hoirs B._) et 65 (propriété de C._). L'alignement prévu suit à peu près, sur le pourtour de l'îlot, le tracé des voie publiques existantes. Un projet de "désaffectation-cancellation" d'environ 1 m2 de la voie public sur la parcelle n° 44 a également été mis à l'enquête. Les consorts A._ et C._, ainsi que D._ et E._, propriétaires de la parcelle n° 46 située de l'autre côté de la ruelle du Châtelet (ci-après: A._ et consorts) se sont opposés aux trois projets, en relevant notamment que ceux-ci devaient être coordonnés et que les voies prévues dans le plan d'alignement n'étaient pas suffisamment larges au regard de la densification projetée. Le 29 juin 2009, le Conseil municipal de Monthey a préavisé favorablement le projet de construction et a transmis la cause à la Commission cantonale des constructions (CCC), compétente en la matière. Par décision du même jour, il a aussi transmis le projet de plan d'alignement au Conseil d'Etat du canton du Valais, avec un préavis favorable. Il a par ailleurs adopté le projet de cancellation et de désaffectation et rejeté les oppositions y relatives. B. Par décision du 26 novembre 2009 (complétée le 3 mars 2010), la CCC a accordé l'autorisation de construire et écarté les oppositions. Cette décision a fait l'objet d'un recours au Conseil d'Etat. Le 2 décembre 2009, le Conseil d'Etat a approuvé le plan d'alignement et rejeté les oppositions. Le tracé du plan d'alignement respectait les critères de l'art. 26 de la loi cantonale sur les routes (LR). Il permettait une densification du secteur. L'accès pouvant se faire par la rue du Château, l'élargissement de la ruelle du Châtelet n'était pas nécessaire. Cette décision a été notifiée simultanément à celle de la Commission cantonale des constructions (CCC), rejetant les oppositions contre le projet de construction. C. Par arrêt du 20 août 2010, la Cour de droit public du Tribunal cantonal valaisan a rejeté le recours formé par A._ et consorts contre le plan d'alignement. La commune avait suffisamment expliqué les motifs à l'appui de ce plan. Ce dernier reprenait pour l'essentiel l'implantation des bâtiments existants. Un rapport formel selon l'art. 47 OAT n'était dès lors pas nécessaire. L'adoption du plan d'alignement permettait de construire à la limite des voies publiques afin de densifier le secteur, conformément aux buts d'aménagement fixés par la commune. Rien n'imposait un élargissement de la rue du Château ou de l'ensemble des voies publics entourant l'îlot. Un léger retrait de l'alignement à la hauteur des bâtiments du côté du Château de Monthey, ne s'imposait pas. Lors de la fermeture de la Place centrale pour des manifestations, l'autorité pourrait poser des conditions permettant d'assurer un accès à la rue du Château. Les distances de sécurité fixées dans la norme AEAI ne s'appliquaient pas à des bâtiments situés de part et d'autre d'une voie publique. D. Par acte du 27 septembre 2010, A._ et consorts forment un recours en matière de droit public. Ils demandent la réforme de l'arrêt cantonal en ce sens que l'arrêté d'approbation du Conseil d'Etat est annulé. Subsidiairement, ils concluent à l'annulation de l'arrêt attaqué et au renvoi de la cause à la cour cantonale pour nouvelle décision après un complément d'instruction et en coordination avec la procédure d'autorisation de construire. La Cour de droit public a renoncé à se déterminer. Le Département cantonal des transports, de l'équipement et de l'environnement, la commune de Monthey et l'intimé F._ concluent au rejet du recours. Les recourants ont répliqué, en relevant notamment que leur recours contre l'autorisation de construire a été rejeté par le Conseil d'Etat le 6 octobre 2010, et que cette décision a été à son tour portée devant le Tribunal cantonal.