Backe var også en habil bandyspiller, med flere sesonger på Gjøvik Bandyklubbs A-lag. På 1970-tallet tok Rolf Bjørn Backe og broren, Per Bue Backe, over farens tekstilforretning, .