Su madre, Charlotte, ya había estado casada con anterioridad, pero tras enviudar del padre de Gloeden, se volvió a casar por tercera vez en 1864, esta vez con un político conservador y periodista llamado Wilhelm Joachim von Hammerstein.