William Lamb era hijo del primer vizconde de Melbourne y Elizabeth, vizcondesa de Melbourne (1751-1818), aunque su paternidad fue cuestionada.