翌年自取艺名「翁立友」推出首张个人专辑，专辑中还有与余天和陈亚兰对唱；宣传期间，余天更陪他一起跑宣传。但首张专辑并未受到青睐，于是转行卖大闸蟹和保险、甚至失志酗酒，因而沉寂了数年，在母亲支持下才重新站起来。艺名灵感来自三立、感觉四平八稳，以及最欣赏张学友，暱称「Only You」取其台语谐音。直到2003年，蔡小虎偶然听到翁立友上歌唱节目，对于他的声音颇感兴趣，本想直接签下他当艺人，但后来还是决定把他推荐给豪记唱片。2005年，翁立友在豪记唱片发行的首张专辑《妈妈的背影》里以〈坚持〉、〈送行〉等曲，