1319 wird Olbersdorf das erste Mal als „Albertsdorf“ (‚Dorf eines Albert‘) urkundlich erwähnt. Die Schreibweise „Olbersdorf“ tritt erstmals 1429 auf. 1343 haben Mannschaften des Bischofs von Meißen die Gegend unsicher gemacht. 1362 brannten die Prager und 1420 und 1424 die Hussiten Olbersdorf nieder. 1428 existierte ein Vorwerk zum Ort. 1533 brachte der Türkenkrieg dem Dorf neue Lasten und Leiden. Die Schrecken des Dreißigjährigen Krieges waren für Olbersdorf so anhaltend, dass man erst 1650 das Friedensfest feiern konnte. Im Türkenkrieg (1664), im Nordischen Kriege, in den Schlesischen und Napoleonischen Kriegen hat der Ort Drangsale durchmachen müssen, die anderen, entlegeneren Ortschaften, erspart geblieben sind.