Оригинальное здание не сохранилось до наших времен. Его несколько раз перестраивали по разным причинам: Предположительно, впервые мавзолей был возведен еще в XII веке, когда умер Арыстанбаба. В XIII веке монголы сравняли город Отрар с землей, его архитектура была утрачена. По приказу Тимура было возведено новое сооружение, но и оно не уцелело. В XIV–XV вв. здание было отстроено заново. От него сохранились деревянные колонны айвана. В XVIII веке на месте древнего захоронения построили большой мавзолей с куполами. Он был разрушен и перестроен в 1909 году. К 1970-м годам мечеть была в аварийном состоянии. Ее снесли и отстроили заново. Несмотря на это, мавзолей Арыстанбаба для мусульман — священное место. Сюда стекаются паломники со всего мира. Мавзолей охраняется законом как памятник архитектуры.