Jarvis alcanzó la cima de su profesión en 1814, cuando asumió un encargo sin precedentes de la ciudad de Nueva York para pintar  seis retratos de cuerpo entero de los héroes navales de la Guerra anglo-estadounidense de 1812 (previamente, Gilbert Stuart había abandonado este importante proyecto a raíz una disputa con los clientes). Durante más de una década, fue el principal retratista de Nueva York, estableciendo importantes vínculos con la élite política, mercantil y cultural. Jarvis fue también un personaje peculiar, conocido por su vestimenta ostentosa, sus modales frívolos y su propensión a consumir alcohol. Era conocido por ser un contador de historias muy divertido y tuvo numerosos vínculos con el mundo del teatro.