Anthony B. Taylor var eldstemann av syv barn født til Basil og Rachel (Roth) Taylor. Hans foreldre og besteforeldre hadde bostedsrøtter i Fort Worth. To acv hans besteforeldre var konvertitter til katolisismen (morfaren fra jødedom og framoren fra protestantisme). Familien flyttet til Ponca City i Oklahoma i 1960.