Se sabe poco sobre sus relaciones con su familia, aunque Suetonio cuenta que despreciaba a su hermano menor, Claudio, ya que al oír el augurio de que un día llegaría a ser emperador, se lamentó públicamente de tan aciago destino para los romanos.