Mesmo com certas turbulências, Zé alcançou o topo de sua carreira na Europa, quando chegou a Alemanha para se acertar com o Bayer Leverkusen no final dos anos 90. Por lá, jogou ao lado de grandes personagens do futebol internacional como o centroavante búlgaro Dimitar Berbatov e o goleiro Hans-Jörg Butt. Essa passagem foi o início de uma grande amizade com o zagueiro Lúcio, que tinha acabado de sair do Internacional em uma cara negociação. Futuramente, ambos seriam companheiros no Bayern de Munique, época mais vitoriosa da dupla e da Seleção Brasileira treinada por Carlos Alberto Parreira. Juntos, levaram o clube alemão ao grande auge. Foram vice-campeões do campeonato nacional nas temporadas 1998–99 e 2001–02, além de chegarem a final da Liga dos Campeões contra o Real Madrid, ex-clube de Zé Roberto. Nessa final, o já meio campista não jogou, e sua equipe acabou derrotada por 2 a 1.