读过佐贺中学、旧制第五高等学校，于明治三十六年（1903年）自东京帝大文科毕业，而后在日本爱媛、山梨、福冈、沖绳、广岛等地的中学任教。
来台任职.大木俊九郎在大正十年（1921年）时来台担任台中商业学校（今国立台中科技大学）首席教谕，隔年担任新竹中学校首任校长（1922年4月－1932年4月），奠立竹中的基础。他的教育理念就如竹中校歌（日治时代版、《新竹中学校第一校歌》）所述：「…(所有的竹中人)，都应永远追求知识和世间万物的真理(镜と澄さむ 明(さや)けき知恵を 万世不朽の 真理