Lite er kjent om Taverners liv. Han var muligens født i Tattershall i grevskapet Lincolnshire, og i henhold til et av hans egne brev var han beslektet med den velstående Yerburgh-familien fra Lincolnshire.