Han er sønn av en danser og en orkesterdirigent, og vokste opp i trange kår sammen med sine fire søsken. På grunn av sine mange roller som engelsk overklassegutt blir han ofte ansett for å ha en velstående bakgrunn. Andrews startet sin karriere som teaterskuespiller ved Chichester Festival Theatre, og det er ved teatret han har hatt sitt primære virke, selv om han også har arbeidet en del innenfor fjernsyn. Han er særlig kjent for sin rolle som Sebastian Flyte i TV-serien (1981), en dramatisering av Evelyn Waughs roman med samme navn. For rollen som den alkoholiserte og dypt ulykkelige Sebastian Flyte ble han i 1981 tildelt den britiske filmprisen BAFTA samt en Golden Globe som beste TV-skuespiller.