Residensen ble påbegynt under fyrstbiskop Johann Philipp Franz von Schönborn i 1720. Fyrstbiskopen døde imidlertid allerede fire år senere uten å oppleve bygningen ferdigstilt. Oppdraget fikk den da 33-årige arkitekten Balthasar Neumann, som i 1744 under den første byggherrens bror, fyrstbiskop Friedrich Carl von Schönborn, fullførte slottet som råbygg.