之后来台营业的日本本土银行，在明治36年（1903年）8月13日发布日本劝业银行土地贷款之律令后，劝业银行遂于隔年委託台湾银行代理其业务。而在大正十一年（1922年）时，日本政府核准其在台北设置「支店」（分行）；而昭和3年（1928年）3月时，又核准其在台南设立支店。台南支店于昭和3年10月开始营业，起初是设在台南驿附近的北门町二丁目（今台南火车站前圆环之国宾大楼现址，为一欧风式建筑，战后曾作为中华日报社，现已不存），直到昭和12年（1937年），新的支店行舍在末广町一丁目119番地（斜对面便是林百货）