Selv om Augustus hadde et godt forhold til Agrippina, tok han avstand fra hennes mor allerede i år 2 f.Kr., angivelig på grunn av hennes usedelige vandel, en skjebne som også skulle ramme to av hennes barn, Agrippa Postumus og Iulia, få år etter. De begge eldre av Agrippinas brødre, Gaius Caesar og Lucius Caesar, som deres keiserlige bestefar hadde adoptert som sine etterfølgere, døde i henholdsvis 2 og 4 år e.Kr. Deretter adopterte så Augustus Tiberius, som var sønn av Livia Drusilla, og han adopterte sin nevø Germanicus.