Hans søster Anne, hustru av George Hastings, 1. jarl av Huntingdon, ble også tatt inn ved hoffet, og skal i 1514 ha hatt et kortvarig forhold til Henrik VIII. I 1520 ble Buckingham involvert i en skandale som involverte hans søster Anne. Etter å ha hørt rykter om henne og hoffmannen William Compton, skal Buckingham ha kommet over Compton i Annes rom. Compton ble tvunget til å ta sakramentet for å bevise sin uskyld at han og Anne ikke hadde begått utroskap, og Annes ektemann sendte henne deretter til et kloster rundt 100 km fra hoffet. Det er ingen tilgjengelige bevis som etablerer at Anne og Compton var skyldig i ekteskapsbrudd. Likevel gikk Compton til det uvanlige skritt å testamentere land til Anne i sitt testamente, og beordret hans testamenteksekutører om å inkludere henne i bønnene for hans slekt, som han også hadde forskrifter for i sitt testamente. Det har vært spekulasjoner om at Compton søkte Annes gunst på vegne av Henrik VIII og at Anne egentlig var kongens elskerinne.