Umeå blev residensstad i det nybildade Västerbottens län redan på 1600-talet. Det första residenset byggdes ett stycke öster om kyrkan, på den så kallade "Herrtomten" vid älven, ungefär på samma plats som den nuvarande byggnaden. På 1820-talet byggdes ett separat bostadshus för landshövdingen, och på 1850-talet uppfördes även ett landsstatshus i Döbelns park. Samtliga dessa byggnader förstördes vid stadsbranden 1888.