Nat Adderley nació en Tampa, Florida, pero se mudó a Tallahassee, Florida, cuando sus padres fueron contratados para enseñar en la Florida A & M University.