I år 9 f.Kr. døde Drusus uventet under et felttog i Germania, muligens av sykdom. Claudius vokste opp hos sin mor, som aldri giftet seg på nytt. Da Claudius' funksjonshemning kom for en dag, ble hans forhold til familien etter hvert heller dårlig. Antonia omtalte han som et monster, og brukte ham som målestokk for dumhet. Det ser ut til at hun satte sønnen bort til farmoren Livia over en periode på flere år. Livia var noe bedre når hun snakket med ham, men sendte ham like fullt korte, sinte brev hvor han ble kritisert og bebreidet. Han ble deretter satt under omsorg hos en tidligere muldyrpasser for å holde ham i aktivitet, med den begrunnelse at hans situasjon skyldtes latskap og manglende viljestyrke.