Faits:
A. B._, C._ et D._ sont copropriétaires de la parcelle 136 de la commune de Trélex. Cette parcelle est affectée en zone village au sens du règlement général sur l'aménagement du territoire et les constructions (ci-après: le RGATC) approuvé par le département compétent le 7 février 2008. D'une surface de 1'662 m2, elle supporte une habitation avec rural pour 260 m2 (ECA n° 79), un bâtiment agricole pour 38 m2 (ECA n° 80), une habitation pour 6m2 (ECA n° 77) et un garage pour 32 m2 (ECA n° 278), le solde étant de nature de jardin pour 1'362 m2. Le bâtiment ECA n° 79 figure en note 4 au recensement architectural cantonal.
Les copropriétaires précités ont mis à l'enquête publique, du 23 juillet au 23 août 2010, un projet relatif à la démolition des bâtiments nos 79, 80 et 278 et à la construction d'un immeuble de cinq logements avec parking souterrain de 14 places, quatre places extérieures et couvert à voiture. Ce projet a suscité l'opposition de A._, propriétaire, respectivement copropriétaire, des parcelles 131 et 137 contiguës à la parcelle 136. Il ressort de la synthèse CAMAC du 12 août 2010 que les autorités cantonales ont délivré les autorisations spéciales et les préavis favorables nécessaires; en particulier, le service immeubles, patrimoine et logistique (ci-après: le SIPAL) n'a pas formulé de remarque relative à la démolition des bâtiments existants sur la parcelle 136.
Le 24 septembre 2010, la municipalité de Trélex a décidé de lever l'opposition de A._ et de délivrer l'autorisation de construire sollicitée.
B. A._ a porté sa cause devant la Cour de droit administratif et public du Tribunal cantonal vaudois (ci-après: le Tribunal cantonal). Après avoir procédé à une vision locale en présence des parties, le Tribunal cantonal a rejeté le recours par arrêt du 5 avril 2012 et confirmé la décision de la municipalité du 24 septembre 2010. Il a considéré en substance que le projet litigieux était conforme aux différentes normes de droit cantonal et communal invoquées par l'opposante.
C. Agissant par la voie du recours en matière de droit public, A._ demande au Tribunal fédéral de réformer l'arrêt du Tribunal cantonal du 5 avril 2012, en ce sens que son recours contre la décision de la municipalité du 24 septembre 2010 est admis, et d'annuler la décision de la municipalité. Subsidiairement, elle conclut à l'annulation de l'arrêt attaqué, la cause étant renvoyée à la cour cantonale pour nouvelle décision dans le sens des considérants. Elle se plaint pour l'essentiel d'une application arbitraire du droit cantonal et communal des constructions ainsi que d'une violation de son droit à une décision motivée.
Le Tribunal cantonal renonce à se déterminer et conclut au rejet du recours, au bénéfice des considérants de son arrêt. La municipalité de Trélex conclut également au rejet du recours. L'intimé B._ demande au Tribunal fédéral de rejeter le recours dans la mesure où il est recevable; il confirme ses conclusions par courrier du 5 juillet 2012. La recourante a répliqué le 9 juillet 2012.
D. Par ordonnance du 6 juin 2012, le Président de la Ire Cour de droit public a admis la requête d'effet suspensif de la recourante.
Considérant en droit:
1. Dirigé contre une décision prise en dernière instance cantonale dans le domaine du droit public de l'aménagement du territoire et des constructions, le recours est en principe recevable comme recours en matière de droit public conformément aux art. 82 ss LTF, aucune des exceptions prévues à l'art. 83 LTF n'étant réalisée.
Selon la jurisprudence, le voisin a qualité pour agir lorsque son terrain jouxte celui du constructeur ou se trouve à proximité immédiate de celui-ci (ATF 121 II 171 consid. 2b p. 174; 115 Ib 508 consid. 5c p. 511). Tel est le cas de la recourante, propriétaire des parcelles 131 et 137, contiguës à celle où les intimés projettent les constructions litigieuses.
Les autres conditions de recevabilité sont remplies si bien qu'il y a lieu d'entrer en matière.
2. Le recours porte sur une application arbitraire du RGATC ainsi que de la loi cantonale du 5 décembre 1985 sur l'aménagement du territoire et les constructions (ci-après: la LATC) et de son règlement d'application (ci-après: le RLATC).
Sauf dans les cas cités expressément à l'art. 95 LTF, le recours ne peut pas être formé pour violation du droit cantonal en tant que tel. En revanche, il est toujours possible de faire valoir que la mauvaise application du droit cantonal ou communal constitue une violation du droit fédéral, en particulier qu'elle est arbitraire au sens de l'art. 9 Cst. ou contraire à d'autres droits constitutionnels (ATF 133 III 462 consid. 2.3 p. 466). Autrement dit, le Tribunal fédéral ne revoit l'interprétation et l'application du droit cantonal et communal que sous l'angle de l'arbitraire. Il ne s'écarte de la solution retenue que si celle-ci se révèle insoutenable, en contradiction manifeste avec la situation effective, ou si elle a été adoptée sans motifs objectifs et en violation d'un droit certain, ce qu'il appartient au recourant de démontrer par une argumentation qui réponde aux exigences des art. 42 al. 2 et art. 106 al. 2 LTF (cf. ATF 134 II 349 consid. 3 p. 351 s.; 133 II 249 consid de 1.4.2 p. 254 et les références). Le recourant doit ainsi indiquer précisément quelle disposition constitutionnelle ou légale a été violée et démontrer par une argumentation précise en quoi consiste la violation. En outre, si l'interprétation défendue par la cour cantonale ne s'avère pas déraisonnable ou manifestement contraire au sens et au but de la disposition ou de la législation en cause, elle sera confirmée, même si une autre solution paraît également concevable, voire préférable (ATF 132 I 13 consid. 5.1 p. 17).
3. La recourante se plaint d'une application arbitraire des art. 12.1, 12.6 et 12.7 RGATC ainsi que de l'art. 86 LATC.
L'art. 86 LATC est une règle générale d'esthétique et d'intégration des constructions. Cette disposition prévoit que la municipalité veille à ce que les constructions, quelle que soit leur destination, ainsi que les aménagements qui leur sont liés, présentent une aspect architectural satisfaisant et s'intègre à l'environnement (al. 1). Les règlements communaux doivent contenir des dispositions en vue d'éviter l'enlaidissement des localités et de leurs abords (al. 3).
L'art. 12.1 al. 2 RGATC dispose que les bâtiments anciens dont la conservation est imposée ou souhaitable pour la sauvegarde des parties historiques de la localité peuvent être transformés et changer de destination. Selon l'art. 12.6 RGATC, les parties anciennes du village de Trélex constituent, en tant que telles, un site historique d'intérêt local et régional qui doit être sauvegardé; à cette fin, les caractéristiques du domaine bâti existant doivent être respectées et mises en valeur. Enfin, aux termes de l'art. 12.7 al. 1 RGATC, sans exclure une expression architecturale contemporaine, les constructions nouvelles sont implantées et conçues de manière à s'incorporer au domaine bâti existant pour former avec celui-ci une entité physique homogène et harmonieuse.
3.1 Le Tribunal fédéral fait preuve de retenue dans l'appréciation des circonstances locales. Dans ce domaine, les autorités locales disposent en effet d'un large pouvoir d'appréciation (cf. ATF 132 II 408 consid. 4.3 p. 416 et les références; arrêt 1P.678/2004 du 21 juin 2005 consid. 4, in ZBl 2006 p. 430). C'est le cas notamment lorsqu'il s'agit de savoir si une construction ou une installation est de nature à compromettre l'aspect ou le caractère d'un site, d'une localité, d'un quartier ou d'une rue (ATF 115 Ia 114 consid. 3d p. 118, 363 consid. 3b p. 367; arrêt P.265/1985 du 16 avril 1986 consid. 3 in RDAF 1987 p. 155).
3.2 En l'espèce, le Tribunal cantonal a considéré que l'art. 12.1 al. 2 RGATC n'exigeait pas la conservation de tous les bâtiments mais permettait, si leur conservation était souhaitable ou imposée pour la sauvegarde des parties historiques de la localité, de les transformer ou d'en changer la destination. L'inspection locale avait permis de confirmer que les bâtiments ECA nos 80 et 278, en mauvais état de conservation, ne présentaient aucune caractéristique digne d'être protégée ou maintenue. Quant au bâtiment n° 79, recensé en note 4, la municipalité avait indiqué qu'il était également en mauvais état de conservation et ne présentait pas d'intérêt quant à sa sauvegarde, à la différence de bâtiments recensés en note 2 ou 3, dont la conservation était en principe exigée. Le SIPAL, autorité cantonale spécialisée, n'avait d'ailleurs formulé aucune remarque à ce sujet.
S'agissant plus précisément de l'examen de la question de l'esthétique, le Tribunal cantonal a constaté, lors de la vision locale, que les bâtiments sis autour de la parcelle 136 étaient principalement des anciennes fermes transformées ou des bâtiments plus récents, présentant un volume semblable ou supérieur à celui de la construction litigieuse. Quand bien même le gabarit du bâtiment projeté était relativement important, il ne formait pas une disproportion flagrante et insolite avec les constructions existantes, d'autant moins qu'il sera situé derrière d'autres bâtiments imposants au bout d'une ruelle sans issue.
3.3 La recourante estime pour sa part que le projet des intimés est en totale opposition avec le sens et le but des art. 12.1 et 12.6 RGATC. En tant qu'il prévoyait la démolition de bâtiments existants, il contrevenait manifestement au devoir de respect et de sauvegarde imposé par ces dispositions, ce d'autant que le bâtiment n° 79 avait obtenu une note 4 au recensement architectural. Par ailleurs, la cour cantonale s'était contentée d'examiner le gabarit du bâtiment projeté, sans vérifier le caractère homogène et harmonieux du projet par rapport à son environnement immédiat. Or, les plans litigieux contenaient des éléments tout à fait insolites comme le retrait de façade sud au niveau des combles et surcombles, ou encore des découpes rectangulaires dans les avant-toits pour donner de la lumière aux fenêtres latérales des combles. Enfin, le Tribunal cantonal n'avait pas examiné la question de la clause esthétique et s'était référé à l'opinion de la municipalité sans prendre en considération la qualité particulière du site ni procéder à une examen approfondi des circonstances. La motivation de l'arrêt attaqué était dès lors insuffisante au regard de l'art. 29 al. 2 Cst.
3.4 La motivation de la recourante est manifestement déficiente sous l'angle de la démonstration de l'arbitraire (cf. consid. 2 ci-dessus). L'intéressée se contente en effet d'opposer son opinion à celle des juges cantonaux, sans démontrer en quoi cette dernière serait insoutenable. Or, celle-ci n'apparaît pas déraisonnable. Tout d'abord, les dispositions invoquées par la recourante n'interdisent nullement la destruction de bâtiments existants; ceux-ci sont en outre, selon les constatations de fait des juges cantonaux non contestées par la recourante et qui lient le Tribunal fédéral (art. 105 al. 1 LTF), en mauvais état de conservation. Les art. 12.1 et 12.6 RGATC n'imposent au demeurant pas d'établir une étude pour démontrer l'impossibilité de transformer des constructions existantes au lieu de les démolir, comme semble le penser la recourante. Ensuite, il apparaît que les juges cantonaux ont à juste titre fait preuve d'une certaine retenue dans l'examen de la question de l'esthétique et qu'ils se sont prononcés après s'être déplacés sur les lieux. Les critiques de la recourante ne permettent pas d'établir que le projet ne s'intégrerait pas dans l'environnement bâti, même s'il devait contenir des "éléments insolites" qui ne lui plaisent pas. Dans ces conditions, l'on ne voit pas que la cour cantonale serait tombée dans l'arbitraire en confirmant l'appréciation de la municipalité selon laquelle la construction projetée ne posera pas de problème d'intégration.
Enfin, la motivation du Tribunal cantonal est suffisante au point de vue du droit d'être entendu, l'arrêt attaqué expliquant de manière détaillée pourquoi les critiques de la recourante devaient être rejetées. La prétendue absence de motivation ne l'a de toute façon pas empêchée de recourir céans sur cette question. Mal fondé, le grief relatif à la clause d'esthétique doit être rejeté dans la mesure de sa recevabilité.
4. La recourante considère que le bâtiment projeté ne respecte pas l'indice d'utilisation du sol (IUS).
4.1 L'art. 3.2 RGATC prévoit notamment que la surface des parties des avant-corps tels que balcons, oriels, bow-window dépassant 1.50 m de la façade du bâtiment entre en considération pour le calcul de l'indice d'utilisation du sol.
En l'occurrence, la recourante fait valoir qu'en vertu du texte clair de la disposition précitée, les balcons qui dépassent de 1.5 m la façade du bâtiment doivent être pris en considération dans leur entier; la cour cantonale aurait versé dans l'arbitraire en ne les comptant que partiellement. Il ressort de l'arrêt attaqué que, lorsque les balcons dépassent de 1.50 m la façade du bâtiment, la pratique de la municipalité est de ne prendre en considération que la surface dépassant cette distance; a contrario, cette disposition n'imposait pas la prise en considération de toute la surface des balcons. Comme l'ont relevé à juste titre les juges cantonaux, cette pratique correspond au texte réglementaire et ne prête pas le flanc à la critique. L'opinion contraire de la recourante ne permet pas de taxer ce raisonnement d'arbitraire.
4.2 La recourante est par ailleurs d'avis que les surcombles devraient être pris en considération dans le calcul de l'IUS, dans la mesure où ils seraient habitables. Elle allègue à cet égard que le grenier sera accessible par un escalier privatif depuis les appartements situés dans les combles et que des ouvertures en toiture permettront un éclairage important. L'appréciation de la recourante s'oppose aux constatations de fait de la cour cantonale, qui a considéré qu'en l'état et au vu des plans d'enquête, cet étage ne pouvait pas être considéré comme habitable, l'éclairage n'étant en particulier pas suffisant. L'on ne décèle pas d'arbitraire dans cette constatation et ce raisonnement. Au surplus, les juges cantonaux ont renvoyé correctement aux obligations liées à la délivrance du permis d'habiter, la municipalité étant invitée, le moment venu, à s'assurer que les conditions fixées par le permis de construire seront respectées et que l'exécution correspondra en tous points aux plans mis à l'enquête.
Mal fondé, le recours doit être rejeté sur ce point.
5. La recourante reproche en vain au Tribunal cantonal de n'avoir pas examiné les différents critères de conformité des ouvertures réalisées dans les combles par rapport au règlement communal, en violation de son droit d'être entendue. En effet, il ressort de son recours au Tribunal cantonal du 27 octobre 2010 (p. 6) qu'elle n'avait pas soulevé ce moyen, mais qu'elle s'était contentée d'affirmer que les nombreuses ouvertures en toiture n'étaient pas autorisées. Or, dans l'arrêt attaqué, les juges cantonaux ont répondu à cette critique en expliquant que les ouvertures en toiture étaient conformes au règlement communal et respectaient les proportions exigées par l'art. 12.7 RGATC. Il ne saurait dès lors y avoir une quelconque violation du droit d'être entendu. Pour le surplus, il n'y a pas lieu d'examiner si le projet litigieux respecte l'art. 28 RLATC: cette argumentation juridique fondée sur le droit cantonal, soulevée pour la première fois devant le Tribunal fédéral, est en effet irrecevable (cf. art. 106 al. 1 LTF a contrario).
6. Dans un dernier grief, la recourante estime que les 19 places de parc prévues sont manifestement excessives par rapport aux 9 places autorisées par l'art 8.4 RGATC et la norme VSS 640 281 à laquelle il renvoie. Le calcul des places de stationnement par le Tribunal cantonal serait au demeurant erroné.
L'art. 8.4 RGATC prévoit que toute construction générant du trafic automobile doit être pourvue de places de stationnement pour véhicules réservées à ses usagers. Le nombre de cases est calculé sur la base des normes de l'Association suisse des professionnels de la route, soit, dans la règle, pour les maisons d'habitation collective: 1 case pour 80 à 100 m2 de surface brute de plancher mais au minimum 1 case par logement (habitants) + 10 % ou au minimum 1 case pour 2 logements (visiteurs).
6.1 La surface de plancher retenue est de 824.70 m2 et le nombre de logements s'élève à cinq. Le Tribunal cantonal a ainsi considéré que le nombre de places de parc nécessaire pour les habitants était compris entre 8.25 (824.70 / 100) et 10.31 (824.70 / 80). Pour les visiteurs, il fallait encore compter 2.5 cases (1 case pour 2 logements). Au total, c'étaient donc entre 10.75 et 12.81 places qui devaient être construites. Arrondies à l'entier supérieur, en conformité avec la norme VSS 640 281, on obtenait un nombre de 11 à 13 places de stationnement.
Ces calculs ne prêtent pas le flanc à la critique et l'on ne saurait suivre la recourante qui arrive à un total de 9 places, en ne retenant que les limites inférieures des normes alléguées. De plus, une éventuelle correction dans le sens de la recourante n'aurait pas permis d'arriver à un résultat différent (cf. consid. 6.2 ci-après). Dans ces conditions, le grief relatif à l'établissement inexact des faits doit être écarté (cf. art. 97 al. 1 LTF).
6.2 L'arrêt attaqué a retenu que le projet litigieux, en prévoyant 19 places de stationnement, s'écartait considérablement de la fourchette autorisée par la norme VSS 640 281 à laquelle se référait la règlementation communale. Cette disposition prévoyait toutefois qu'il pouvait être judicieux de s'écarter des valeurs indicatives afin de tenir compte des conditions locales particulières ou de formes spéciales de logement (p. ex. habitat sans voiture). Or, la municipalité avait invoqué la difficulté de stationner dans le village et l'un des constructeurs avait expliqué que quelques places seraient réservées au voisinage. Le Tribunal cantonal a au demeurant pu constater sur place les limites quant aux possibilités de stationnement dans le village. Ainsi, la cour cantonale n'est pas tombée dans l'arbitraire en estimant que les conditions locales présentaient précisément une particularité permettant de s'écarter des valeurs indicatives. L'argumentation de la recourante est en réalité purement appellatoire: l'intéressée ne démontre en particulier nullement en quoi les autorités communale et cantonale auraient excédé le large pouvoir d'appréciation dont elles disposent dans ce domaine, excès qui n'est de toute façon pas réalisé en l'espèce. Le grief est mal fondé.
7. Il résulte de ce qui précède que le recours doit être rejeté dans la mesure où il est recevable, aux frais de la recourante qui succombe (art. 65 et 66 al. 1 LTF). En vertu de l'art. 68 al. 2 LTF, celle-ci versera une indemnité de dépens à l'intimé B._ qui obtient gain de cause avec l'assistance d'un avocat (art. 68 al. 1 et 2 LTF). Les intimés C._ et D._, qui n'ont pas pris part à la procédure, n'ont pas droit à des dépens.
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. Les frais judiciaires, arrêtés à 3'000 fr., sont mis à la charge de la recourante.
3. Une indemnité de 3'000 fr. est allouée à l'intimé B._ à titre de dépens, à la charge de la recourante.
4. Le présent arrêt est communiqué aux parties, à la Municipalité de Trélex et au Tribunal cantonal du canton de Vaud, Cour de droit administratif et public.
Lausanne, le 14 août 2012
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président: Fonjallaz
La Greffière: Mabillard