Hakuseki ble født i Edo, byen som i 1868 ble Japans hovedstad, og oppviste allerede i helt ung alder tegn på genialitet. Ifølge én av historiene som gikk om ham, kunne han som treåring kopiere en konfuciansk bok skrevet på kanji, bokstav for bokstav.