Durante la adolescencia, Siegel se hizo amigo de Meyer Lansky, con quien formó una pequeña pandilla cuyas actividades se habían expandido a los juegos de azar y robo de vehículos.