Han spilte også for FC Aarau (Sveits) og FC Grasshoppers før han flytta til Werder Bremen. Rufer ble også kåret til Oseanias beste fotballspiller i 1989, 1990 og i 1992. I 1994–1995-sesongen, forlot han Bremen, til fordel for det japanske laget JEF United i den japanske J. Liga.