Formatosi in un quartiere di New York nel 1993, sono conosciuti per i loro spettacoli frenetici e teatrali. Molte delle loro canzoni traggono ispirazione dalla musica tzigana, anche perché la maggior parte dei componenti è immigrato dall'Europa orientale, a partire dal loro leader Eugene Hütz, ucraino di origine, allontanatosi dalla repubblica sovietica nel 1986 a causa del disastro di Chernobyl ed approdato a New York nel 1993. Qui conosce Vlad Solofar, Sasha Kazatchkoff ed Eliot Fergusen, quest'ultimo aggiunge una nota rock al suono del gruppo. Successivamente si unisce il violinista Sergej Rjabcev, già direttore teatrale a Mosca e perfetto per dare un'ulteriore dose di bizzarria alla band.