Se Caligola all'iniziò del regno onorò i suoi familiari, con il tempo il rapporto che ebbe con loro andò peggiorando. Svetonio racconta che preferì nascondere di essere nipote di Agrippa, poiché gli erano attribuite umili origini, affermando invece che sua madre fosse nata da un incesto tra Giulia maggiore e Augusto stesso, gettando pertanto discredito sull'immagine del primo imperatore romano. Si fece spesso beffe della sua bisavola Livia Drusilla, definendola un «Ulisse in gonnella» e rimproverandole che suo nonno, Alfidio Lurcone, fosse un semplice decurione di "Fundi". L'unico suo antenato di cui avesse rispetto fu Marco Antonio: Cassio Dione ci tramanda che, quando i due consoli in carica festeggiarono la vittoria di Augusto su Antonio, Caligola li rimosse dal loro incarico. Questo apprezzamento nei confronti di Antonio fu dovuto probabilmente ai racconti della nonna Antonia, figlia del triumviro, da cui prese anche la comune passione per l'ellenismo.