Albert var sønn av hertug Ernst I av Sachsen-Coburg-Gotha og Louise av Gotha. Albert og hans eldre bror Ernst tilbrakte ungdommen i nær kontakt grunnet foreldrenes turbulente ekteskap med påfølgende separasjon og skilsmisse. Etter at deres mor ble forvist fra hoffet i 1824 giftet hun seg på nytt med sin elsker, Alexander von Hanstein, greve av Pölzig og Beiersdorf. Hun så antagelig aldri sine barn igjen og døde av kreft 30 år gammel i 1831. Det påfølgende året giftet deres far seg med sin niese, hans sønns kusine Marie av Württemberg. Deres ekteskap var ikke varmt, og Marie hadde antagelig ingen innvirkning på livene til Ernst og Albert.