Antes de su unión a Supertramp, Siebenberg formó parte del grupo de pub rock Bees Make Honey, así como de RHS, en donde participaron Patrick Landreville y Scott Gorham.