儒医向井元升の二男として肥前国(今の長崎市興善町)に生まれる。