Tårnet er oppkalt etter Erik Ottesen Rosenkrantz som var lensherre på Bergenhus i årene 1560–67. Han gjorde omfattende byggearbeider på tårnet og har æren for den vakre renessansefasaden bygningen har idag. Rosenkrantz hadde fått ordre fra kong Frederik II om å sette festningen i bedre stand, også militært. Med skotsk arkitektur som forbilde og med skotske håndverkere fikk Rosenkrantz oppført det staselige residenstårnet, som i samtiden ble omtalt som «slottet». Tårnet har gjennomgått flere endringer siden 1500-tallet, men er i stor grad tilbakeført, slik at bygningens ulike historiske hovedfaser vises.