Han var sønn av William Boleyn (ca. 1451 – 10. oktober 1505) og Margaret Butler (1465–1540). Hans besteforeldre på farssiden var Geoffrey Boleyn (død 1471) som hadde tjenestegjort som borgermester av London i 1457. Han bestemor på farssiden var Anne Hoo (ca. 1425–1484) som var datter av Thomas, 1. baron Hoo og Hastings, og Elizabeth Wychingham. Hans bestefar på morssiden var Thomas Butler, 7. jarl av Ormonde (ca. 1424 – 3. august 1515). Hans bestemor på morssiden var Anne Hankford som var sønnedatter av John Montacute, 3. jarl av Salisbury.