Mientras enseñaba, Rumph desarrolló su pericia en el grabado. En 1939, exhibió sus grabados en la Feria Mundial de Nueva York en Flushing Meadows-Corona Park en el distrito municipal de Queens de Nueva York. Rumph hizo después grabados de monumentos de Colonial Williamsburg. Vendía estas obras en la tienda de regalos de la "Colonial Williamsburg Foundation".