Calleja ble av sine med-offiserer og ansatte blitt beskrevet som ekstremt målbevisst og skruppelløs, i tillegg til å bli ansett som en grusom hersker som i stor grad tolererte misbruk og tortur av den meksikanske befolkningen. Han var fryktet og hatet av de fleste som arbeidet sammen med ham, selv av noen av de mest liberale rojalistene. Deres klager mot hans diktatoriske metoder ble mottatt i den spanske hoffet og den 20. september 1816 ble Calleja løst fra sin stilling i Mexico.