St James's Palace
1851年11月28日、ロンドンのセント・ジェームズ宮殿で生まれる。父は第2代グレイ伯爵チャールズ・グレイ(元首相)の次男である陸軍中将。母はその夫人キャロライン（第2代準男爵サー・トマス・ハーヴィー・フォークワーの娘）。アルバートは次男であるが、兄チャールズは1855年に早世している。