Hun Sen ble født som det tredje av seks barn i en bondefamilie. Faren, Hun Neang, var residerende munk i en lokal wat i Kampong Cham-provinsen før han la av seg munkedrakten for å gå inn i den franske motstandsbevegelse, og gifte seg med Hun Sens mor, Dee Yon, i 1940-årene. Hun Neangs besteforeldre på farssiden var velstående kinesisk-kambodsjanske godseiere av teochew-kinesisk bakgrunn. Hun Neang arvet noe av dette, blant annet landarealer, og kunne leve et relativt komfortabelt liv inntil en kidnapping tvang familien til å selge mye av det de eide.