Akkurat da suksessen begynte, mistet Ruphus to viktige medlemmer: Haakon Graf valgte å satse på egen hånd (blant annet med gruppen Hawk On Flight), mens Gudny Aspaas var blitt mor og ville konsent­rere seg om det fremfor å reise Europa rundt. Jan Simonsen (keyboard) kom med sommeren 1976, mens Sylvi Lillegaard ble ny vokalist fra januar 1977. Den nye besetningen laget to vellykkede album; Inner Voice som kom ut i 1977, som igjen var med Rypdal som produsent og Flying Colours utgitt i 1978, denne gang med Ruphus selv som produsenter, begge med var Larsen som bandets hovedkomponist. Bandet tilbrakte nå stadig mer tid i Vest-Tyskland, og levde nærmest i eksil.