હોવર્ડને 1537 માં ટાવર ઓફ લંડનને તેમના અનધિકૃત સંબંધ માટે મોકલવામાં આવ્યા હતા, કારણ કે માર્ગારેટ ઉત્તરાધિકારના આધારે તે સમયે હતા, હેનરી આઠમાએ તેમની પુત્રીઓ મેરી અને એલિઝાબેથ ગેરકાયદેસર જાહેર કરી હતી.