Indirekt nevnes Döllersheim for første gang ca 1143, da en Chunradus de Tolersheim dukker opp som vitne på en kunngjøring av hertug Heinrich av Bayern. Videre finner man et dokument mfra 1272 me en Rapoto de Tolrshaim, hvis borg antagelig lå på høyden ved sognekirken i Döllersheim. Det er ikke kjent når Döllersheim ble elevert til markedssted.