Первыми поселенцами в Мардине были ассирийцы, которые прибыли сюда в третьем веке нашей эры. На территории города имеются многочисленные церкви и монастыри, в том числе действующие, которые основаны ещё ранними сирийскими христианами. В 1394 году прилегающие земли были завоёваны монголами, в последующем переходят под контроль тюркских племён Ак-Коюнлу. В 1517 году город завоёван турками и вошёл в состав Османской империи. В начале XX века здесь был проведен геноцид, направленный против армян и ассирийцев.