Tras la muerte de su hermano creó la Adderley Brotherhood, un sexteto que incluyó a varios miembros del Cannonball Adderley Quintet.