Les aimants frustrés sont des systèmes dans lesquels des moments magnétiques localisés interagissent grâce à des interactions d’échange en compétition, créant une forte dégénérescence de l’état fondamental. Cette frustration est généralement induite par la géométrie du système, mais peut tout autant provenir d’un équilibre précaire des forces d’interactions magnétiques J1–J2 avec les premier et deuxième plus proches voisins. Les systèmes étudiés appartiennent à la famille AkLn2O4 (où Ak = métal alcalino-terreux et Ln = lanthanide) dans lesquels les atomes magnétiques sont pavés de manière hexagonale sur le plan ab et forment des chaînes zigzag le long de l’axe c. Dans cette structure, les ions de terre rare se situent à l’intérieur d’octaèdres d’oxygènes déformés, menant à deux sites magnétiques inéquivalents avec des champs cristallins distincts pouvant être décrits par un système effectif unidimensionnel.  C’est en mettant à profit des techniques de pointe en diffraction et en spectroscopie de neutrons qu’il est possible de sonder les interactions magnétiques entre les atomes des composés et de déterminer les excitations des états fondamentaux. Des mesures en ce sens ont été effectuées avec de nouveaux échantillons polycristallins de Ba(Dy,Ho)2O4, préparés par réaction à l’état solide. En couplant ces résultats à un calcul détaillé des champs cristallins électriques, il a été possible de démontrer l’indépendance des ordres magnétiques se trouvant sur chacun des sites de terres rares. Ainsi, l’affinement des structures magnétiques de ces deux systèmes montre la coexistence de deux types d’ordres à longue portée. Dans les deux cas, on y observe également une vaste diffraction diffuse pouvant être modélisée à l’aide d’un modèle d’interaction unidimensionnel avec les premier et deuxième plus proches voisins. Ces corrélations persistent à des températures bien en deçà des températures de transitions magnétiques, indiquant la présence de sites où ordre et fluctuations magnétiques cohabitent.  Une autre caractéristique de cette famille de composés est la supposition de phases magnétiques induites sous l’application d’un champ magnétique. Dans le SrHo2O4, des mesures d’aimantation en fonction du champ magnétique montrent ainsi la présence d’un large plateau se situant au tiers de l’aimantation totale. Cette phase magnétique induite est caractérisée par des mesures de diffraction de neutrons sur des monocristaux pour lesquels la croissance a été effectuée par la technique optique à zone flottante. De fait, l’application d’un champ magnétique montre l’existence d’une transition d’un des sites magnétiques d’un ordre double Néel vers un ordre à courte portée intermédiaire. L’affinement de la structure magnétique, complexe en raison de la courte portée des interactions, suggère d’une part la présence d’aimantation non-uniforme d’un site à l’autre et, d’autre part, la présence d’un moment magnétique transversal.  Une revue de concepts théoriques de magnétisme se retrouve dans le premier chapitre de cette thèse, afin de définir la frustration. Le prochain chapitre est une courte revue de la littérature des systèmes de cette famille, avec l’accent sur les principales caractéristiques de la structure cristalline et magnétique, ainsi que du développement de plateaux dans l’aimantation. Le troisième chapitre présente la caractérisation de la structure magnétique du BaDy2O4 et du BaHo2O4 par diffraction et spectroscopie de neutron. Finalement, une description de la phase magnétique induite en champ magnétique du SrHo2O4 est faite.

Mots-clés : Physique de la matière condensée , Magnétisme , Frustration magnétique , Diffusion de neutrons , Diffraction de neutrons , Spectroscopie , Champs cristallins électriques , Magnétisme à basse dimension , Transition de phase , Croissance de cristaux