Wolfgang Grajonca war der einzige Sohn einer jüdischen Familie, die in den 1920ern aus Russland nach Deutschland emigrierte. Nach seinen Schwestern Rita Rosen (* 1920), Evelyn Udry (* 1924), Sonja Szobel (* 1925), Ester Chichinsky (* 1926) und Tanja „Tolla“ (* 1928, † 1940) war er das jüngste Kind von Frieda Sass und Jacob „Yankel“ Grajonca. Der Vater starb zwei Tage nach Wolfgangs Geburt an einer Blutvergiftung. Die Familie wohnte in der Lindenstraße in Kreuzberg und besuchte die dortige Synagoge. Nach der „Kristallnacht“ von 1938 musste Ester Grajonca von der staatlichen Schule auf die Jüdische Mädchenschule in der Auguststraße wechseln. Die 18-jährige Schwester Rita emigrierte mit ihrem damaligen Lebenspartner Freddie nach Shanghai, die zweitälteste Schwester Evelyn floh mit ihrem jüdisch-ungarischen Lebensgefährten Juri Teichner versteckt in einem Schweinetransport nach Budapest und arbeitete dort unter dem Bühnennamen Evelyn Barnett als Tänzerin.