Durante este período, Siegel tuvo un desacuerdo con los asociados de Waxey Gordon, los hermanos Fabrizzo.