Nacido en Boston en una familia de élite local, William Jarvis fue hijo del Dr. Charles Jarvis, un médico de Boston propietario de la casa del antiguo Gobernador William Shirley en lo que es en la actualidad la State Street. Su hijo William vio a su ardiente patriota padre dar discursos durante la era revolucionaria de las trece colonias, y más tarde recordaba oír al Sheriff de Boston Handerson leyendo la Declaración de Independencia de los Estados Unidos en el balcón de la Old State House (Vieja Casa de Estado). Como otros prominentes bostonianos de la época, Jarvis tenía en sus genes una mezcla tanto de Revolución como de negocios.