于九州宫崎县儿汤郡高锅町，父亲为原高锅藩士小泽寅太郎。在就读宫崎中学（现宫崎大宫高校）时因暴力事件，而受到退学处份。正当失意之时，其当时正于日俄战争中国东北战场上服役的兄长小泽宇一郎从战场上寄一封劝戒「过则勿惮改」的信给小泽治三郎。受此感召，小泽于是前往东京，转入成城学校。小泽终身都仔细保管这封信，并成为其座右铭。1906年11月24日小泽治三郎考入江田岛海军兵学校37期，成绩是183人排名150号，同期生中有后来旧日本帝国海军史上最后一位晋升大将的井上成美，1909年海军兵学校第37期毕业，成绩为同期