Gisela Polz' Mutter Elise Rutter stammte aus Toblach, ihr Vater Karl Polz (1819–13. Januar 1885 Oradea) war Soldat der k.u.k.-Streitkräfte, er wurde nach dem Bosnien-Krieg zum Generalmajor befördert und als Edler von Ruttersheim geadelt. Ihre Schwester war die Schauspielerin Else von Ruttersheim (1880–1962).