Pope Pius X
而在他退休後，這個高齡的主教依然沒有停止帶領教區內的反抗團體，他甚至參與了由創立了傳統主義組織聖庇護十世司鐸兄弟會的法籍總主教馬歇爾·勒菲弗在無視教宗若望保祿二世的反對與警告下所進行的私自祝聖主教的儀式。在這其中卡斯特·羅梅耶以共祭的主教身分同勒菲弗一起祝聖了四位聖庇護十世司鐸兄弟會的成員司鐸為主教。事件過後教宗若望保祿二世於同年7月2日以自動手諭的形式發布宗座詔書，證實卡斯特·羅梅耶以及那五位聖庇護十世兄弟會的主教都因為私自祝聖而處於自科絕罰的狀態。