A finales de 1963 sus relaciones con la mafia conllevaron que el "Consejo de Control del Juego del Estado de Nevada" presentara cargos contra Sinatra por haber alojado en "Cal-Neva" al mafioso Sam Giancana; para evitarse problemas, él mismo anunció que renunciaba a su licencia de juego y al "Cal-Neva", lo que también significaba la pérdida de su participación del nueve por ciento en los intereses del casino Sands de Las Vegas, lugar de reunión y actuación habitual del Rat Pack.