Storfyrst Sergej ble født som den nest yngste sønn og barn av det regjerende keiserpar. Utover Sergej talte familien fem brødre og en søster.