Mergentheim er nevnt så tidlig som i 1058 som tilholdssted for grevene av Hohenlohe, som tidlig på 1200-tallet tilegnet store deler av dette området til Den tyske orden. I 1340 fikk Mergentheim byrettigheter og vokste stadig i betydning innen Den tyske orden. Da denne ble sekularisert i Preussen i 1525, ble Mergentheim ordenens hovedsete, og den forble det helt fram til ordenen ble oppløst av Napoleon i 1809.