军生于日治时期的台北板桥(今新北市板桥区)，祖籍福建省漳州府南靖县，少时家贫，1915年毕业于板桥公学校（现新北市板桥区板桥国民小学），1916年学习制鞋，1918年任新高银行工友、雇员，1920年随前清秀才赵一山读书学汉诗。1921年，他前往中国厦门鼓浪屿新高银行谋职，因此接触大陆白话文文学，他一方面赴厦门同文书院接受大陆新式教育，接触大陆白话文文学，同时也跟着一位当地的老秀才接续古典文学的学习；在泰贤次的考察中，张我军正是在此时将原名张清荣改为张我军，而「我军」正是这位老秀才的笔名，张我军经由老秀才的推