7月27日出生在名古屋，是原尾张藩武士松井武国的第六个儿子，家境贫困。在完成小学毕业后，父母要求松井继续升学，但他不愿使家里经济负担更为沉重，因此尽管他身形矮小瘦弱，依旧选择从军。因为在当时的日本，军校收取的学费最低（一说免费）。1893年，松井入学陆军幼年学校，1896年毕业后又就读陆军士官学校。松井是优秀的学生，在1897年11月毕业时为班上排名第二名，与他同期的还有未来的陆军大将真崎甚三郎、阿部信行、本庄繁和荒木贞夫等人。1901年，松井被陆军大学录取，这是一所精英机构，每年只招收约10％的申请者