Elsie Mackay ble født i 1893 i Simla i Britisk India til James Mackay, 1st Earl of Inchcape of Strathnaver, en britisk koloniembetsmann i India som ble styreformann for Peninsular and Oriental Steam Navigation Company, og hans hustru Jean Paterson Shanks. Hennes far var også president for Bengals handelskammer, medlem av Legislative Council for Generalguvernører og visekonger av India og rådgiver for Secretary of State for India.