Ab 1933 war Richardson im Filmgeschäft tätig und entwickelte sich auch dort zu einem gefragten Charakterdarsteller. Während seiner fünf Jahrzehnte langen Kino-Karriere spielte Richardson in zahlreichen Filmklassikern profilierte Nebenrollen und deckte dabei ein weites darstellerisches Spektrum ab. Er spielte den autoritären Boss in der Science-Fiction-Literaturverfilmung "Was kommen wird" (1936) nach den Werken von H. G. Wells. 1939 trat er in dem Propagandafilm "The Lion Has Wings" auf. Bis 1944 war er danach im Armeedienst und wurde gelegentlich für Filmaufnahmen freigestellt. Seine Filmarbeit nach dem Krieg entstand neben seiner hauptsächlichen Arbeit am Theater. Er wurde zweimal für den Oscar als bester Nebendarsteller nominiert: 1950 für seine Darstellung des distanzierten Vaters von Olivia de Havilland im Filmdrama "Die Erbin" sowie posthum 1985 für den trauernden Earl of Greystoke in "Greystoke – Die Legende von Tarzan, Herr der Affen" (1984). Er wurde für seine Rolle in "Eines langen Tages Reise in die Nacht" von Sidney Lumet bei den Filmfestspielen von Cannes 1962 als bester Schauspieler ausgezeichnet. 1966 spielte Richardson den britischen Premierminister William Ewart Gladstone in "Khartoum". Dafür erhielt er eine Nominierung für den British Film Academy Award als bester britischer Darsteller. 1951 führte Richardson das einzige Mal Filmregie bei "Home at Seven", der Verfilmung eines Theaterstückes, indem Richardson bereits zuvor gespielt hatte.