Su padre, Harry Daltrey, trabajaba en una fábrica de inodoros y a su madre, Irene, debido a la pérdida de un riñón en 1937, le había sido pronosticada la imposibilidad tener hijos; a pesar de ello, dio a luz a Roger en un hospital cercano a Hammersmith durante un ataque aéreo en la Segunda Guerra Mundial, hecho que quedaría más adelante reflejado en la película "Tommy", musicada por The Who, y el matrimonio tuvo dos hijas más, Gillian y Carol.