Olof Rydbeck var sønn av bankdirektør Oscar Rydbeck og Signe Olsson. Han giftet seg i 1940 med Monica Schnell, datter av rittmester Carl Gustaf Schnell og Hilda Hök.