Moren hans, Sonia, er fra Calcutta i India, og faren hans, Harry, kom fra Sør-Afrika. Faren var advokat og kjempet mot apartheidregimet i Sør-Afrika. Men Harry døde av slag da Orlando bare var fire år gammel. Orlando og hans søster Samantha ble oppdratt alene av moren etter farens død. Da Orlando var 13 år gammel, tilstod moren at Harry ikke var hans biologiske far, men at hennes nære venn, Colin Stone, er faren hans.