有显赫的历史。曾祖父大伴长德曾任右大臣，祖父大伴安麻吕曾在壬申之乱中支持天武天皇立功。父亲大伴旅人曾任中纳言，但遭权贵藤原氏排挤，在政坛上并不顺遂。731年（圣武天皇天平三年），大伴旅人去世，年约14岁的家持就由姑母坂上郎女供书教学。大伴家持的姑母坂上郎女是一位擅场吟咏爱情的女歌人，而家持在少年时代接触多位女性，当中有艳丽少妇，亦有妙龄女郎。因此家持在20岁以前，创作出大量的情歌，与这些女性相赠。由于他在此时期较着重感情生活，他的歌便大都显示其浪漫的一面，其中一首16岁时的作品《大伴宿弥家持初月歌》，就