Han viste tidlig musikalsk talent, og vakte forskrekkelse da han på 1960-tallet som den første i bygda, begynte å gå med langt hår. Ivar Gafseth var et viktig medlem i rockegruppa Difference fra 1967 til 1980 der han spilte orgel. Han opptrer fortsatt sammen med to andre medlemmer i denne gruppa, Tore Johansen og Erling Mylius, under navnet Travellin’ Strawberries. Trioen ble landskjent da de spilte i TV-serien i 1994.