顾其卫主教去世，文贵斌升任直隶西南代牧区宗座代牧，驻正定府。1919年4月2日，文贵斌调回北京，任直隶北境代牧区助理代牧主教。原天津宗座代牧杜保禄调任江西赣州教区后，1923年7月12日，文贵宾接任天津宗座代牧。中日战争期间，文贵斌派遣日本籍神父田口芳五郎与岩下庄一保护中国教友。1937年，日军杀害荷兰籍正定代牧文致和主教，文贵斌接受宗座驻华代表蔡宁总主教委托，署理正定代牧区，直到1939年陈启明主教就任。1946年4月11日，教宗庇护十二世宣布中国建立圣统制，文贵斌成为天津教区首任正权主教。1