A finales de 1960 los gastos de Southern y la falta de perspicacia financiera le trajeron problemas, y fue auditado por el Internal Revenue Service en varias ocasiones, con el resultado de cuantiosas multas.