Mary hadde en affære med kong Henrik, men det har ikke vært mulig å tidfeste denne, heller ikke hvor lenge den varte. Den kan ha vært avsluttet da hun giftet seg, eller den kan ha begynt da, eller strakt seg over flere år. Da det ble kjent at kongen hadde et forhold til Anne Boleyn, sa George Throckmorton direkte til kongen at «folk tror at du også har stått i med både moren og søsteren.» Kongen rødmet og svarte: «Aldri med moren!» Han benektet ikke forholdet han hadde hatt til Mary. Jesuitten Nicholas Sander holdt likevel liv i ryktet om at kongen også hadde kjent søstrenes mor, og at Anne Boleyn egentlig var hans egen datter. I 1523 hadde kong Henrik en båt med navnet Mary Boleyn, men den var kjøpt fra hennes far Thomas Boleyn og kunne fått navnet av ham.