Ogata interessierte sich schon während seiner Schulzeit für das Theater und wurde nach Abschluss der Oberschule Mitglied des Shinkokugeki-Ensembles. Dieser Theatergruppe gehörte er von 1958 bis 1968 an. Bereits in seinem ersten Film "Tōi hitotsu no michi" spielt er die Hauptrolle, einen jungen Boxer. Größere Popularität erlangt er durch zwei Fernsehserien "Takōki" (1965) und "Hissatsu shikakenin" (1972–1973). Für seine Rolle des teuflischen Vaters Sōkichi Takeshita in Yoshitarō Nomuras "Kichiku" (1978) wurde er mehrfach ausgezeichnet. 1979 spielte er unter der Regie von Shōhei Imamura den Serienmörder Iwao Enokizu in dem Film "Fukushū suru wa ware ni ari". Internationale Bekanntheit erlangt er in der Rolle des Bauern Tatsuhei mit dem Film "Die Ballade von Narayama", hier auch wieder unter der Regie von Shōhei Imamura. Der Film gewann die Goldene Palme der Filmfestspiele von Cannes. Unter der Regie von Paul Schrader spielte er 1985 die Rolle des japanischen Schriftstellers Yukio Mishima in "Mishima – Ein Leben in vier Kapiteln". Allerdings wurde der Film nach Protesten nie in Japan aufgeführt. Seine bekannteste Leistung in einem englischsprachigen Film war die eines Kalligraphen in "Die Bettlektüre" (1996), unter der Regie von Peter Greenaway. Hier spielte er neben Vivian Wu und Ewan McGregor.