Firmó con el Real Madrid en 1997 luego de solicitarlo de Jupp Heynckes, entrenador del elenco español. En la Liga de Campeones de la UEFA 1997-98 convirtió ante el Bayer Leverkusen y el Borussia Dortmund, mientras que el Madrid alcanzó la final. Disputada en el Ámsterdam Arena, Karembeu disputó el partido entero ayudando a la victoria de su club por 1-0 sobre la Juventus y a la séptima obtención del máximo torneo a nivel de clubes de Europa. Al final de ese año ganaría también la Copa Intercontinental 1998 frente al Vasco da Gama. Fue condecorado nuevamente como en 1998. Lentamente pasó de ser titular indiscutido a ocupar generalmente un lugar en el banco de suplentes. Volvió a ganar la Champions League en el año 2000 tras vencer el 24 de mayo al Valencia 3-0.