Han slet mye med dårlig helse og ble beskrevet som «en lettskremt gutt som tar lett til tårene». Foreldrene stod ikke for den daglige oppdragelsen av sine barn, noe som var vanlig i aristokratiske miljø. Albert stammet mye som barn og utviklet kroniske mageproblemer. I tillegg hadde han problemer med knærne som måtte rettes opp med skinner, noe som var meget smertefullt. Han ble også tvunget til å skrive med høyrehånden, selv om han var venstrehendt.