Yukawa ble født i Tokyo som Hideki Ogawa og vokste opp i Kyoto. I 1929 ble han lektor ved universitetet i Kyoto, kort tid etter å ha blitt uteksaminert derfra. Han var lektor der i fire år. Etter han ble uteksaminert ble han interessert i teoretisk fysikk, spesielt i teorien om elementærpartiklene. I 1932 giftet han seg med Sumi Yukawa, og familienavnet hans endret seg til Yukawa.