Varner studerte blant annet klaver i sine ungdomsår ved Capitola Dickerson College i New Jersey før han en stund senere ble leder for en kvintett bestående av horn og to saksofoner, bass, og trommer, med hyppige gjesteartister som aldri var med i gruppen for i lange perioder av gangen.