Mukherjee hom fra landsbyen Mirati i det vestbengalske distriktet Birbhum. Han var sønn av Kamada Kinkar Mukherjee og hans hustru Rajlakshmi Mukherjee. Hans far var tidlig aktiv i Kongresspartiet. Hans engasjement for indisk uavhengighet førte til at han tidvis ble satt i fengsel. Senere ble han engasjert i det selvstendige Indias utenriksdepartement.