Su padre, Robert Simpson Cassatt (más tarde solo Cassatt) era un exitoso agente de bolsa, descendiente del francés Jacques Cossart, que había llegado a Nueva Ámsterdam en 1662.