Boleyn ble sannsynligvis født i Norfolk i Boleyn-familiens hjem i Blickling Hall. Han var ganske ung da han opptrådte ved flere festivaler ved hoffet, og antagelig studerte han ved Oxford-universitetet. I motsetningen til sine to søstre fikk han ingen utdannelse i utlandet, men tilbrakte ungdommen i England.