Han hadde vært en god begersvinger og festlig vert, og skal ha dødd etter en solid fest. Den økonomiske fremgangen han kunne fremvise, var skjedd på bøndenes bekostning. Han innkrevde leie fra dem uten å ta noen menneskelige hensyn. Hverken de eller prestene hadde derfor noe godt å si om hans ettermæle. Hans strenghet mot bøndene kan ha skapt ryktet om at han hadde vært vanskapt - pukkelrygget med klumpfot, og at han druknet i toalettet og går igjen i baroniet som gjenferdet «baron Klumpfot». Nåværende beboer Reidar Nedrebø har verken sett eller hørt dette gjenferdet, selv om både Nedrebø og et par ansatte flere ganger har hørt klirring av glass og samtaler på tidspunkter hvor det ikke har vært noen i bygningen. Hva Axel Rosenkrantz' død angår, forteller kirkeboken bare at han fikk en brå død. Ryktet om hans drukningsdød i toalettet skyldes trolig at en adelsmann med samme navnet druknet i Vågen i Bergen omtrent på samme tid.