Jamerson var gift med Anne. De fikk fire barn sammen, tre sønner og en datter. Sønnen James Jamerson jr. er også bassist.