Brandelius var gift med Gun Sundström (1939–1944). Hans andre ekteskap var med Ingalill Rossvald (1944–1964), som også var hans akkompagnatør (trekkspill) i mange år. Hans tredje ekteskap var med journalisten Eva Håkanson (1966–hennes død i 1987). Eva Håkanson var født Neuman, datter til kunstneren Carl Bernhard Neuman og Florence Wahlinder. Sammen med Ingalill Rossvald fikk Harry Brandelius fire barn: Christer, Harriet, Catharina og Peter.