Osborne er født i Paddington i London og er den eldste av fire gutter. Hans far, Peter Osborne, 17. baronett, grunnla firmaet Osborne & Little.