Begge foreldrene kom fra velstående adelige familier, og hans far var selv en velstående gjødselhandler. Da Ozu var ti år gammel flyttet han sammen med moren, sin eldre bror og sine to yngre søstre fra Tokyo til farens fødeby, Matsusaka i Mie der han vokste opp, mens faren ble igjen i Tokyo. I Matsusaka var Ozu en ivrig kinobesøker.