杜比在波特兰出生，在旧金山长大。大学曾就读圣荷西州立大学，后转学至史丹福大学，期间，因第二次世界大战，至美国陆军服役，中断了两年学业。在中学时期及就读大学期间，他曾在Ampex打工。1957年，取得史丹福大学电机工程硕士学位。获马歇尔奖学金，至英国剑桥大学攻读物理学，1961年，取得博士学位。1965年，在英国创建杜比实验室。
家庭.1966年他与Dagmar结婚，两人育有两个儿子Tom Dolby和David Dolby，Tom生于1975年，后来成为一名畅销书作家。