Согласно легенде, основание епархии восходит к обету, данному императором Отто I в преддверии знаменитой битвы на Лехе, в которой были разбиты разорявшие восточно-франкское государство мадьяры. Решение было поддержано на Равеннском церковном синоде 967 года, и уже год спустя было основано архиепископство Магдебург с подчинёнными ему епископствами Мерзебург, Цайц и Майсен. Первым епископом Мерзебурга был Бозо (, ум. 970), вторым — Гизел(х)ер (, ум. 1004), с 981 года занимавший архиепископскую кафедру в Магдебурге и упразднивший епископство. С его смертью в 1004 году мерзебургское епископство было по воле Генриха II основано повторно.