Octavius ble døpt den 23. mars 1779, på St James's Palace, av Frederick Cornwallis, erkebiskopen av Canterbury. Hans faddere var hertugen av Braunschweig-Wolfenbüttel (jarlen av Hertford, Lord Chamberlain var stedfortreder), hertugen av Mecklenburg (jarlen av Ashburnham var stedfortreder) og hertuginnen av Sachsen-Weimar-Eisenach (grevinnen av Egremont var stedfortreder). Octavius hadde et vinnende vesen, han hadde lange gylne lokker og lyseblå øyne. Han stod nært sin søster Sophia, som kalte Octavius «hennes sønn». Sammen med sine søsken Elizabeth og Edward reiste de til Eastborne ved Sussexkysten sommeren 1780. Da han var nitten måneder gammel, ble Octavius storebror til Alfred. Alfred døde da Octavius var tre år gammel, og Octavius ble atter en gang minstemann i søskenflokken.