Ingemar Olsson vokste opp i Hässelby i Stockholm, der hans far Herbert Olsson (1911–1994) var pastor i en baptistkirke i 25 år. Ingemar Olsson var elev i Adolf Fredriks Musikgymnasium og startet med sin klassekamerat Ulf Widding popbandet The Sounds og begynte å skrive egna låter. Han ble oppdaget som soloartist av ett plateselskap och ga ut sin første LP, , produsert av Claes af Geijerstam og med medverkning av blant annet Ola Brunkert og Janne Schaffer.