Después de dejar su primera agrupación, "The Young and the Useless", Horovitz se unió a Michael "Mike D" Diamond y Adam "MCA" Yauch para formar lo que fueron los Beastie Boys, teloneando a Madonna en su famosa gira "Like a Virgin".