Acescobri a configuração que controla quanto da memória de videio é usada:

vtkSmartPointer<vtkSmartVolumeMapper> m = vtkSmartPointer<vtkSmartVolumeMapper>::New();
m->SetRequestedRenderMode(vtkSmartVolumeMapper::GPURenderMode);
m->SetMaxMemoryFraction(1.0);
ReleaseDataFlagOn tá bugano tudo
Ultimo ponto antes de começar a cirurgia na pipeline para evitar as duplicações a cada filtro.
Consegui evitar a duplicação no resampler.
Refatorando a criação da série pra dentro do Volume para poder controlar melhor a memória.