Allerede i tidlig middelalder fantes det en borg på denne høyden ved Elbens venstre bredd, hvor dagens slott er oppført. På det svakt fallende landskapet som strekker seg ut fra borgens nordvestlige side, slo håndverkere og handelsmenn seg ned, og etterhvert utviklet deres bosettinger seg til byen Torgau. Bygningskomplekset ble oppført over lang tid og fremstår følgelig som ganske uregelmessig. Slottets eldste bevarte del er Albrechtsbau, som ble fullført i 1485. Deretter kom Johann Friedrich-fløyen med den utvendige vindeltrappen. Til slutt ble den nordvestlige boligdelen oppført, hvor også slottskapellet finnes. Kapellet ble innviet av Martin Luther i 1544.