Faits: A. La société F._ est propriétaire de la parcelle n° 4243 du registre foncier de Château-d'Oex. Situé au lieu-dit "La Frasse", ce bien-fonds de 3'897 m2 supporte un bâtiment agricole (grange). Il est classé en zone de chalets, régie par les art. 14 ss du règlement communal sur le plan d'extension et la police des constructions (ci-après le RPE), approuvé par le Conseil d'Etat du canton de Vaud le 19 septembre 1980 et modifié pour la dernière fois en 2009. Le 18 mars 2009, F._ a requis l'autorisation de construire sur cette parcelle deux chalets de plusieurs niveaux - comprenant respectivement neuf et six logements - ainsi qu'un garage souterrain de vingt-quatre places et six places de parc extérieures. Le projet impliquait en outre la démolition de la grange érigée sur la parcelle en cause. Mis à l'enquête publique du 27 mai au 25 juin 2009, le projet a suscité diverses oppositions de propriétaires voisins, dont celles de A._ et B._, C._, D._ et E._. Par décision du 6 août 2009, la Commune de Château-d'Oex a levé les oppositions et délivré l'autorisation de construire. B. A._ et B._, ont recouru contre cette décision auprès de la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud (ci-après: le Tribunal cantonal), qui a rejeté ce recours par arrêt du 23 septembre 2010. En substance, le Tribunal cantonal a considéré que les recourants s'opposaient à tort à la démolition de la grange, celle-ci n'étant pas protégée, que la commune n'avait pas abusé de son pouvoir d'appréciation en retenant que les chalets projetés respectaient les règles sur l'intégration à l'environnement bâti, que les intéressés ne pouvaient pas se prévaloir d'une protection de la vue sur les montagnes, que la constructrice pouvait bénéficier du principe de l'égalité dans l'illégalité s'agissant de "balcons aux surcombles" et que la voie d'accès à la parcelle n° 4243 était suffisante et ne posait pas de problèmes de sécurité. Par ailleurs, une vingtaine de propriétaires du secteur ont requis de la Commune de Château-d'Oex l'élaboration d'un plan de quartier intitulé "La Frasse-Dessous", afin de limiter la construction de résidences secondaires dans un périmètre donné incluant notamment la parcelle n° 4243. Ils demandaient également à la commune de surseoir à l'octroi du permis de construire délivré le 6 août 2009. Ces requêtes ont fait l'objet d'une procédure distincte (cf. arrêt 1C_436/2010 de ce jour). C. Agissant par la voie du recours en matière de droit public, A._ et B._, C._, D._ et E._ demandent au Tribunal fédéral d'annuler l'arrêt rendu par le Tribunal cantonal le 23 septembre 2010. Ils requièrent en outre l'octroi de l'effet suspensif. Au terme de ses observations, F._ conclut au rejet du recours, dans la mesure de sa recevabilité. La Commune de Château-d'Oex conclut au rejet du recours. Le Tribunal cantonal ne s'est pas déterminé. D. Par ordonnance du 30 novembre 2010, le Président de la Ire Cour de droit public a admis la requête d'effet suspensif.