Dopo una breve carriera da avvocato e da collaboratore del giudice di corte d'appello federale Harry Wellford, dal 1987 Rychlak insegna Legge all'Università del Mississippi, della cui scuola di Legge è oggi decano associato per gli affari accademici. È membro accademico della Foundation for Defense of Democracies, fondata dopo gli attacchi terroristici dell'11 settembre 2001. Fa inoltre parte dell'Associazione Avvocati Difensori del Mississippi e della "Society of Catholic Social Scientists", ed era stato nominato dalla Corte Suprema del Mississippi fra i membri della commissione per la revisione del codice penale del Mississippi.