Robson giftet seg med Elsie i 1955, og de har tre barn, Andrew, Paul og Mark. Han er , som han i selvbiografien sin omtaler som sitt stolteste øyeblikk i sitt liv.