小田原藩
山下義韶生於日本的小田原藩（今神奈川縣），他們家庭屬於封建制度下的武士階級，所以山下從小就被送到傳統的日本武術學校讀書。1884年，山下拜入嘉納治五郎的講道館，成為講道館初期的19名門生之一。三個月後山下取的黑帶一段，二年後取得四段。