Mahalanobis tilhørte en familie av bengalske godseiere og aristokrater som var bosatt i Bikrampur (dagens Bangladesh). Hans bestefar Gurucharan (1833–1916) flyttet til Calcutta i 1854 og etablerte sin egen virksomhet. Mahalanobis fikk sin første skolegang ved Brahmo Boys School på Calcutta, der han ble uteksaminert i 1908.