Familien flyktet til Marokko etter at Córdoba falt og ble inntatt av almohadene. I Marokko tok han til seg det meste av den sekulære lærdommen sin da han studerte ved universitetet i Fez i Marokko. I tiden han var der skrev han sitt viden kjente kommentarverk til Misjná. Etter oppholdet i Marokko bodde Moshe en kort periode i Israel — hovedsakelig i Jerusalem, der han brukte å be i en synagoge på Tempelhøyden.