Faits:
A. A.a X._, né en 1966 en Turquie, et dame X._, née en 1956, se sont mariés le 14 avril 1997. Dame X._ a une fille majeure issue d'une première union.
Y._, né en 1987 en Turquie, cadet de dix frères et soeurs, est entré en Suisse le 19 juillet 2003, où il a été accueilli par son frère aîné, X._, en vue d'un séjour temporaire pour études.
Le père de X._ et Y._ est décédé le 9 décembre 2003.
A.b Selon déclaration du 5 janvier 2004, Y._ a consenti à son adoption par son frère aîné et l'épouse de celui-ci.
La mère de X._ et Y._, née en 1945, domiciliée en Turquie, a déclaré le 13 septembre 2004 devant notaire ce qui suit: "N'ayant pas les moyens financiers de subvenir aux besoins de mon fils, je déclare et accepte devant notaire, avoir le consentement pour que mon fils Y._, né en 1987, habite avec son frère aîné X._, né en 1966, résidant en Suisse et qu'il vit et qu'il soit scolarisé, gardé et surveillé par lui".
B. B.a Le 8 décembre 2004, les époux X._ ont déposé auprès du Département des institutions et des relations extérieures (ci-après: DIRE), Service de la population, Division état civil (ci-après: Etat civil cantonal), une requête d'adoption portant sur la personne de Y._, alors âgé de dix-sept ans et dix mois.
B.b Par décision du 7 juillet 2005, le DIRE a rejeté cette demande en raison du défaut de consentement de la mère biologique de Y._ et de l'absence de prise de position de la fille de dame X._.
Par arrêt du 14 mars 2006, le Tribunal administratif du canton de Vaud a annulé cette décision et renvoyé le dossier au DIRE; il a considéré, d'une part, que le consentement de la mère biologique n'est pas requis en droit suisse pour l'adoption d'un mineur devenu majeur en cours de procédure et, d'autre part, que l'avis de la fille de dame X._ n'est pas non plus une condition nécessaire à l'adoption.
C. C.a Par courrier du 3 août 2006, les époux X._ ont déposé auprès du Service de Protection de la Jeunesse (ci-après: SPJ) une requête d'autorisation de placement en vue de l'adoption de Y._. Ils ont renouvelé leur demande par courrier du 21 décembre 2007.
C.b Le 4 octobre 2007, le SPJ a rendu un rapport de renseignements à l'intention de l'Etat civil cantonal, qui relève entre autres points ce qui suit:
"A notre avis, l'adoption a pour but de donner des parents à un enfant qui n'en a pas. A l'évidence, nous ne sommes pas dans ce cas de figure. Cette solution a été envisagée, à notre avis, pour permettre à ce jeune homme de rester ici. Y._ a par ailleurs encore sa mère, et bien qu'ayant consenti à son adoption, il n'a pas exprimé le désir de rompre les liens avec elle. De plus, nous savons par expérience, qu'il n'est pas souhaitable sur le plan psychologique, de modifier la place des membres dans une famille, à savoir que la mère devienne la grand-mère et que le frère ait le statut d'un père. D'autre part, imaginer une rupture réelle des relations entre Y._ et sa mère n'a aucun sens ni intérêt pour les protagonistes".
Le 31 janvier 2008, le Chef du SPJ a adressé à l'Etat civil cantonal un rapport complémentaire, dans lequel il constate que le projet d'adoption repose sur une intention sincère des époux X._ et dépasse le but de permettre à Y._ de rester avec eux en Suisse. Il expose en outre notamment ce qui suit:
"(...) depuis son arrivée en Suisse en juillet 2003, [Y._] a développé un lien affectif sincère et profond avec son frère X._ et l'épouse de ce dernier. Cela se manifeste en particulier par le fait que Y._ désigne Monsieur et Madame X._ comme "son papa et sa maman d'ici" et que Madame X._ dit de lui qu'il est le fils qu'elle aurait aimé avoir".
Toutefois, nous observons qu'une telle adoption créerait un lien de filiation entre Y._ et son frère X._ (certes nettement plus âgé) et entre Y._ et l'épouse de son frère. Ainsi, le frère aîné devient le père et l'épouse du frère aîné la mère, et réciproquement le frère cadet devient leur fils.
Au surplus, la mère biologique de Y._ est encore en vie, même si elle est relativement âgée et que le lien affectif et éducatif entre elle et son fils Y._ a été pour différents raisons relativement ténu depuis de nombreuses années.
Ainsi, l'adoption bouleverserait la dynamique de filiation au sein de cette famille, créant une importante confusion entre les relations horizontales et verticales. En plus de la portée symbolique de ces modifications de lien (notamment le frère devient le père, la mère devient la grand-mère) cette modification pourrait à terme créer des difficultés sur le plan psychologique et systémique, en particulier lorsque Monsieur Y._ formera lui-même sa propre famille et aura des enfants.
Ces aspects symboliques et psychologiques, ainsi que leurs impacts dans le système familial ne nous semblent pas être suffisamment pris en compte par les recourants ni par Monsieur Y._. Tout en soulignant le caractère authentique et louable de leur démarche, il nous paraît qu'ils n'en mesurent pas entièrement la portée ni les difficultés potentielles qui peuvent en résulter.
Considérés dans la situation actuelle matérielle et affective des recourants et de M. Y._, et de l'authentique affection qu'ils se portent comme si un lien de filiation les unissait déjà, ces aspects psychologiques et symboliques ne semblent pas avoir prise sur le traitement de leur requête. Il s'agit cependant d'y être attentif, en particulier en les inscrivant dans la durée, dans l'évolution psychologique de Y._ et dans leurs éventuelles conséquences sur la dynamique familiale de la génération suivante.
En conclusion, si l'adoption de Y._ par les recourants paraît une solution possible formalisant et consolidant la situation de fait, la signification symbolique et psychologique pourrait la remettre en cause".
C.c Par courrier du 31 janvier 2008, le SPJ a refusé de statuer sur la délivrance aux époux X._ d'une autorisation d'accueillir Y._ en vue de son adoption.
Le même jour, le DIRE a rejeté leur demande d'adoption.
C.d Par arrêt du 7 août 2008, la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud a rejeté les recours déposés par les époux X._ contre ces décisions, après avoir joint les deux causes.
D. Contre cet arrêt, les époux X._ interjettent un recours en matière civile et un recours constitutionnel subsidiaire au Tribunal fédéral. Principalement, ils concluent à l'admission de leur demande d'adoption et au renvoi de la cause au SPJ s'agissant de l'autorisation de placement en vue d'adoption, subsidiairement, à la délivrance d'une autorisation de placement et au renvoi de la cause au DIRE pour ce qui concerne leur demande d'adoption. Ils se plaignent d'une violation des art. 264, 268 CC, 11a à 11g de l'Ordonnance fédérale du 19 octobre 1977 réglant le placement d'enfants à des fins d'entretien et en vue d'adoption (RS 211.222.338; ci-après: OPEE) et 9 Cst.
Des déterminations n'ont pas été sollicitées.

Considérant en droit:
1. 1.1 Le présent recours porte sur deux objets: le rejet de la demande d'adoption déposée par les recourants et le refus de leur délivrer une autorisation de placement en vue d'adoption. La première décision est rendue en matière civile dans une affaire non pécuniaire (<ref-law>) et la seconde relève de la protection de l'enfant (cf. <ref-law>), à savoir d'un domaine connexe au droit civil (art. 72 al. 2 let. b ch. 7 LTF). Partant, le recours en matière civile est en principe recevable à l'égard des deux décisions attaquées.
En conséquence, la voie du recours constitutionnel subsidiaire n'est pas ouverte (<ref-law>) et l'argumentation subsidiaire des recourants est irrecevable.
1.2 Le présent recours a, pour le surplus, été déposé en temps utile (<ref-law>) et en la forme prévue par la loi (<ref-law>), par une partie qui a succombé dans ses conclusions prises devant l'autorité précédente (<ref-law>), contre une décision finale (<ref-law>) rendue par une autorité cantonale de dernière instance (<ref-law>).
1.3 Le recours en matière civile peut être formé pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (<ref-law>), sans être lié ni par les motifs de l'autorité précédente, ni par les moyens des parties; il peut donc admettre le recours en se fondant sur d'autres arguments que ceux invoqués par le recourant, comme il peut le rejeter en opérant une substitution de motifs (<ref-ruling> consid. 2.2 p. 550). Compte tenu des exigences de motivation posées, sous peine d'irrecevabilité (<ref-law>), à l'<ref-law>, le Tribunal fédéral n'examine en principe que les griefs soulevés; il n'est pas tenu de traiter, à l'instar d'une juridiction de première instance, toutes les questions juridiques pouvant se poser lorsqu'elles ne sont plus discutées devant lui (<ref-ruling> consid. 1.2 p. 152). Il ne connaît de la violation de droits fondamentaux ou du droit cantonal que si ce grief a été soulevé et motivé par le recourant (<ref-law>), ces exigences de motivation correspondant à celles de l'ancien art. 90 al. 1 let. b OJ (<ref-ruling> consid. 1.4.2 p. 254; <ref-ruling> consid. 6 p. 397).
1.4 Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>). Il ne peut s'en écarter que si ces faits ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law> (<ref-law>), et si la correction du vice est susceptible d'influencer le sort de la cause (<ref-law>). Le recourant qui soutient que les faits ont été établis de manière manifestement inexacte (<ref-law>), à savoir que les constatations de fait sont arbitraires au sens de l'art. 9 Cst. (<ref-ruling> consid. 1.2.2 p. 252), doit démontrer, par une argumentation précise, en quoi consiste la violation. Le Tribunal fédéral n'examine en effet la violation de l'interdiction de l'arbitraire que si ce grief a été invoqué et motivé par le recourant (<ref-law>), c'est-à-dire s'il a été expressément soulevé et exposé de façon claire et détaillée (principe d'allégation; <ref-ruling> consid. 1.4 p. 287). Le recourant ne peut présenter aucun fait nouveau ni preuve nouvelle (<ref-law>).
2. Il convient d'examiner tout d'abord les griefs des recourants relatifs au rejet de leur requête d'adoption. Si le refus devait être confirmé, leur demande d'autorisation de placement en vue d'adoption serait, en effet, sans objet.
3. S'agissant de la demande d'adoption, la cour cantonale a considéré que, lorsqu'elle est déposée juste avant la majorité de l'enfant, de sorte que la décision est rendue après, la condition primordiale posée par l'<ref-law> pour l'adoption de mineurs, à savoir le bien de l'enfant, doit être examinée essentiellement au regard de la situation existant au moment de la requête; il faut toutefois que cette condition soit aussi remplie lorsque l'enfant devient majeur, l'évolution des relations entre les recourants et l'enfant depuis sa majorité n'étant en revanche pas pertinente, sauf à confirmer l'appréciation faite au moment de la majorité. Tant le rapport de renseignements du 4 octobre 2007 que la décision du DIRE du 31 janvier 2008 mettent en doute la volonté réelle des recourants d'avoir Y._ comme fils, considérant que leur motivation principale est de permettre à celui-ci de rester en Suisse. Le rapport complémentaire du Chef du SPJ du 31 janvier 2008 souligne en revanche que le projet d'adoption repose sur une intention sincère des recourants et dépasse le but de permettre à Y._ de demeurer avec eux en Suisse. La différence d'appréciation entre les deux rapports du SPJ tend à démontrer un renforcement des liens affectifs entre les intéressés; toutefois, dans la mesure où il est postérieur au dépôt de la demande d'adoption, il ne peut pas être pris en considération. Conformément à l'avis exprimé par le SPJ dans ses rapports des 4 octobre 2007 et 31 janvier 2008, la modification par l'adoption des liens de parenté existant entre les recourants, Y._ et sa mère n'est pas dans l'intérêt de cet enfant. En outre, sa situation familiale ne rend pas nécessaire la création de nouveaux liens de parenté juste avant sa majorité.
4. 4.1 Les recourants contestent le moment déterminant choisi par la cour cantonale pour apprécier le bien de l'enfant; ils soutiennent que cette appréciation doit se faire non pas au moment du dépôt de la requête, mais au jour de la décision sur l'adoption. En n'ayant pas tenu compte de l'évolution de leur relation avec Y._, telle qu'elle ressort en particulier du rapport complémentaire rendu le 31 janvier 2008 par le Chef du SPJ, la cour cantonale aurait violé les art. 264 et 268 al. 3 CC.
4.2 Aux termes de l'<ref-law>, lorsque l'enfant devient majeur après le dépôt de la requête, les dispositions sur l'adoption de mineurs restent applicables si les conditions étaient réalisées auparavant.
Selon HEGNAUER, que les recourants citent à l'appui de leur thèse et auquel la cour cantonale se réfère également, seules les conditions objectives (durée des soins, différence d'âge entre les adoptants et l'adopté) doivent être réalisées au moment de la requête d'adoption, l'enfant ne devant pas subir de préjudice en raison de la longueur de la procédure. L'importance des modifications survenues pendant celle-ci doit être évaluée dans l'enquête prévue à l'<ref-law> et examinée dans la décision finale; si l'adoption correspond à l'intérêt de l'enfant au regard des nouvelles circonstances, elle doit être prononcée (HEGNAUER, Berner Kommentar, 4e éd. 1984, n. 28 ad <ref-law>). Ainsi, lorsque les conditions se modifient au cours de la procédure, ces changements doivent être pris en considération au moment de la décision, autant qu'ils sont propres à influencer l'examen du bien de l'enfant; est décisive la situation de fait existant lorsque la décision est rendue (BREITSCHMID, in Basler Kommentar, Zivilgesetzbuch, 3e éd. 2006-2007, n. 12 ss ad <ref-law>).
Vu ce qui précède, la façon dont la cour cantonale a traité cette question ne peut être suivie. Il est erroné de n'avoir pas tenu compte de l'ensemble des circonstances prévalant au moment où la décision sur adoption a été rendue, l'évolution de celles-ci devant être prise en considération dans l'examen du bien de l'enfant au sens de l'<ref-law>. Il s'impose donc de réexaminer cette question à la lumière également du rapport complémentaire du 31 janvier 2008.
5. 5.1 Aux termes de l'<ref-law>, un enfant peut être adopté si les futurs parents adoptifs lui ont fourni des soins et ont pourvu à son éducation pendant au moins un an et si toutes les circonstances permettent de prévoir que l'établissement d'un lien de filiation servira au bien de l'enfant sans porter une atteinte inéquitable à la situation d'autres enfants des parents adoptifs. Cette condition primordiale de l'adoption - le bien de l'enfant - n'est pas aisée à vérifier. L'autorité doit rechercher si l'adoption est véritablement propre à assurer le meilleur développement possible de la personnalité de l'enfant et à améliorer sa situation; cette question doit être examinée à tous égards (affectif, intellectuel, physique), en se gardant d'attribuer un poids excessif au facteur matériel (<ref-ruling> consid. 3a in fine p. 163 et les citations).
L'adoption d'un mineur consiste à accueillir un enfant qui a besoin d'être éduqué au foyer des parents adoptifs et à l'intégrer durablement dans leur famille. L'existence d'un lien de parenté préexistant entre l'adoptant et l'adopté n'est pas en soi un empêchement à l'adoption; celle-ci rompt en effet tous les liens de filiation antérieurs et les remplace par un nouveau lien de filiation ou de parenté. Toutefois, du point de vue du bien de l'enfant, un tel changement des liens au sein de la famille ne doit pas être décidé à la légère mais doit faire l'objet d'une attention particulière (<ref-ruling> consid. 3b p. 3/4 et les références). Selon HEGNAUER, l'adoption entre frères et soeurs est possible, le fait qu'elle serve au bien de l'enfant ne devant toutefois être admis que dans des circonstances exceptionnelles (HEGNAUER, op. cit., n. 21 ad <ref-law>).
Le Tribunal fédéral n'a pas à substituer sa propre appréciation du bien de l'enfant à celle de l'autorité cantonale et des enquêteurs, mais uniquement à examiner si des circonstances pertinentes n'ont pas été prises en considération ou, à l'inverse, si des éléments déterminants ont été omis (arrêt 5A.19/2006 du 5 décembre 2006 consid. 3.4 in fine et la référence, in FamPra.ch 2007 p. 422).
5.2 Les recourants n'ont pas accueilli Y._ en vue de son adoption et n'ont pas fourni les soins et l'entretien dans ce but. La question de savoir s'il est nécessaire que les soins pendant un an aient été donnés dans la perspective d'une adoption peut néanmoins demeurer indécise. Il en va de même de celle de savoir si la demande d'adoption pourrait être rejetée parce que les recourants n'ont pas suivi la procédure préalable, à savoir n'ont pas requis une autorisation de placement en vue d'adoption au sens de l'OPEE, respectivement si l'art. 19 de la loi fédérale du 22 juin 2001 relative à la Convention de La Haye sur l'adoption et aux mesures de protection de l'enfant en cas d'adoption internationale (RS 211.221.31; LF-CLaH) - qui prévoit que l'accueil en Suisse d'un enfant résidant habituellement à l'étranger en vue d'une adoption sans que les parents nourriciers ne disposent de l'autorisation prévue par la CLaH ou par l'OPEE est illégal - est applicable en l'espèce. L'adoption doit, en effet, être refusée pour un autre motif, à savoir qu'elle ne sert pas le bien de l'enfant.
5.3 Selon les constatations de l'arrêt attaqué, Y._ est arrivé en Suisse chez les recourants alors qu'il était âgé de plus de seize ans, pour y suivre des études; il a vécu avec ses parents jusqu'à l'âge de onze ans, hormis les deux dernières années où il a suivi sa scolarité dans un internat en raison de la destruction de l'école de son village. Il a ensuite été accueilli chez deux de ses frères et une de ses soeurs à Istanbul pour y fréquenter le lycée. Selon la déclaration de sa mère du 13 septembre 2004, c'est en raison de l'absence de moyens financiers propres qu'elle a consenti à ce qu'il vive auprès du recourant, qu'il soit scolarisé en Suisse, gardé et surveillé par son frère aîné. Un rapport du SPJ du 8 octobre 2005 mentionne que la dernière rencontre avec sa mère daterait de 2005, à savoir après le dépôt de la demande d'adoption. Y._ a par ailleurs dans son entourage en Suisse un autre frère, âgé de cinq ans de plus que lui, qui habite à Romanel-sur-Lausanne et travaille comme aide-cuisinier dans l'un des deux établissements tenus par les recourants. Enfin, la demande d'adoption a été déposée deux mois avant sa majorité.
Vu ces circonstances, la cour cantonale n'a pas violé le droit fédéral en considérant qu'il découle de la situation familiale de Y._ qu'il n'est pas nécessaire de créer de nouveaux liens familiaux juste avant sa majorité et que, eu égard au rapport de parenté étroit qui existe déjà, le maintien des conditions propices à son développement ne requiert pas une modification des relations de parenté. Compte tenu de l'âge de l'intéressé au moment de la demande d'adoption, c'est à juste titre que les juges précédents ont relevé que celle-ci ne peut plus à proprement parler viser son éducation; les avantages principalement matériels qu'il retire du cadre que les recourants lui offrent, en particulier son entretien et la possibilité d'acquérir une formation et de séjourner en Suisse auprès d'eux, ne sont pas déterminants. Ils ne suffisent pas à admettre que son intérêt à l'adoption l'emporte sur les risques de conflits psychologiques qu'entraînerait une modification des liens de parenté, tels que mis en évidence par le SPJ, compte tenu notamment de la proximité d'un autre frère, de cinq ans son aîné. Le fait que l'existence d'un lien familial entre l'adoptant et l'adopté, qui en soi ne fait pas obstacle à l'adoption, suppose dans tous les cas une modification de la dynamique au sein de la famille, ne modifie pas cette appréciation. Il en va de même du développement des liens affectifs relevés par le Chef du SPJ dans son rapport complémentaire du 31 janvier 2008; malgré ses constatations, ses conclusions quant à la signification "symbolique et psychologique" de l'adoption, qui pourrait remettre en cause celle-ci, demeurent en effet identiques. Y._ a entretenu des relations, certes ténues, avec sa mère de sang à tout le moins jusqu'en 2005, à savoir après sa majorité, son éloignement ayant été justifié initialement par la possibilité de suivre des études que ses parents ne pouvaient lui offrir; sa mère est par ailleurs toujours en vie. Enfin, la situation de l'intéressé n'est pas comparable à celle décrite dans l'<ref-ruling>, qui concernait un enfant âgé de deux ans au moment de la demande d'adoption par ses grands-parents, lesquels s'en étaient occupés depuis sa naissance.
En définitive, aucune circonstance exceptionnelle ne permet d'admettre que l'adoption de Y._, pratiquement majeur au moment du dépôt de la demande et aujourd'hui âgé de bientôt vingt-deux ans, par son frère et sa belle-soeur servirait à son bien, étant précisé que les éventuelles conséquence d'un refus de l'adoption sur son autorisation de séjour en Suisse ne relèvent pas de la présente procédure et ne peuvent être considérées comme déterminantes pour l'appréciation de cette question. Partant, le refus de prononcer l'adoption doit être confirmé et le recours rejeté sur ce point.
6. Dans la mesure où l'adoption est refusée, la question du bien-fondé ou non du refus de délivrer aux recourants une autorisation de placement en vue d'adoption est sans objet (cf. supra, consid. 2).
7. Vu ce qui précède, le recours est rejeté. Les recourants, qui succombent, supporteront solidairement les frais judiciaires (art. 66 al. 1 et 5 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours constitutionnel subsidiaire est irrecevable.
2. Le recours en matière civile est rejeté.
3. Les frais judiciaires, arrêtés à 2000 fr., sont mis solidairement à la charge des recourants.
4. Le présent arrêt est communiqué aux parties et à la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud.
Lausanne, le 16 décembre 2008
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
Le Président: La Greffière:
Raselli Aguet