徳島藩士・桃井直則の長男として、阿波国(後の徳島県徳島市)古物町に生まれる。