Yoshida ble født i Tokyo som Yoshida Shigerus eldste sønn. Faren arbeidet på det tidspunktet som diplomat i Roma (og ble senere statsminister for Japan). Hans mor Yukiko – datter av Grev Makino Nobuaki – dro fra Tokyo kort tid efter Ken'ichis fødsel for å slutte seg til sin ektefelle; Ken'ichi ble dermed oppdratt hos Makino-husstanden i de første årene av sitt liv. Han ble gjenforent med sine foreldre da han var seks år gammel, da faren hans ble utsendt til Qingdao. Senere kom han til å bo i Paris, London og Tianjin (hvor han studerte ved en skole for britiske barn) før han dro tilbake til Tokyo for å fullføre sin skolegang. I oktober 1930 ble han immatrikulert ved King's College ved Cambridge, hvor han hørte på Goldsworthy Lowes Dickinsons forelesninger. Han dro imidlertid tilbake til Tokyo i februar 1931, da Dickinson hadde rådet ham til å reise til sitt hjemland for å vie sitt liv til litteraturen. I de påfølgende årene studerte han fransk i Tokyo. Han debuterte i 1935 med en oversettelse av Edgar Allan Poes ().