Dani Klein, la cantante principal, y Willy Lambregt tuvieron un éxito previo con la banda Arbeid Adelt! y decidieron formar la banda Vaya Con Dios junto con el contrabajista Dirk Schoufs, ya que compartían interés en la música gypsy music, jazz, y la ópera - géneros que sentían que no eran apreciados en Bruselas.