Inizialmente formatisi nel 1999 come Badu, i Kaffe si sono ufficialmente formati nel 2001 e hanno pubblicato il loro album di debutto "Alone" nel 2003. Nello stesso anno hanno vinto il terzo premio al festival Cervo d'oro in Romania. Il 12 febbraio 2005 i Kaffe hanno partecipato alla selezione del rappresentante bulgaro per la loro prima partecipazione eurovisiva cantando "Lorraine". Sono stati decretati vincitori dopo avere ricevuto più della metà dei televoti su un totale di 12 partecipanti. Alla semifinale dell'Eurovision Song Contest 2005, che si è tenuta il successivo 19 maggio a Kiev, si sono piazzati al 19º posto su 25 partecipanti con 49 punti ottenuti, non riuscendo a qualificarsi per la finale.