ચિશ્તીએ અજમેરમાં અનાસાગર તળાવ પાસે એક ટેકરી ઉપર રહેવાનું શરૂ કર્યું.રાજા પૃથ્વીરાજ જ્યાં રહેતાં હતાં એ તારાગઢના કિલ્લાથી તળાવ થોડુ દૂર હતું.પોતાના શાસન વિરુધ્ધ ખ્વાઝાના અનિચ્છનીય રીતે વધતાં જતાં પ્રભાવથી પૃથ્વીરાજે ખ્વાઝાને અજમેર છોડી દેવા હુકમ કર્યો હતો.