Edgar ville vekk fra West Point, men til dette trengte han Allans skriftlige tillatelse. I september sto han oppført som en av de elevene som hadde begått flest lovbrudd. Karakterene dalte raskt, og i løpet av kort tid havnet han på 74.-plass av 86 elever. Den 28. januar 1831 ble en krigsrett satt ved akademiet. Edgar sto tiltalt med to anklagspunkter og med ytterligere underpunkter. Retten fant ham skyldig på alle punkter, og han ble utvist. Edgar forlot West Point den 19. januar og satte kurs for New York, men der ble han ikke lenge. Han tjente noen penger på kort tid før han så satte kurs for Baltimore, der han slo seg ned hos sin fars familie.