Kort etter Marys fødsel flyttet ekteparet til Louisville i Kentucky, der faren gikk med i sørstatshæren og kjempet i den amerikanske borgerkrigen. Han falt i kampen ved Mobile da Mary Anderson var tre år gammel.