Jabarkan Pengasingan dari Julia Maior

Karena enggan untuk mengeksekusinya, Augustus malah memutuskan untuk mengurung Julia di Pandateria, sebuah pulau yang luasnya kurang dari , tanpa pria yang terlihat dan bahkan dilarang untuk minum anggur. Ibundanya, Scribonia, menemaninya kepengasingan. Dia tidak diizinkan mengunjungi kecuali ayahandanya telah memberikan izin dan telah diberitahu tentang perawakan, kulit, dan bahkan tanda atau bekas luka di tubuhnya.

Pada 6 M, putra bungsu Julia, Agrippa Postumus, diasingkan karena sangat durhaka. Kemudian, pada 8, putrinya yang lebih tua Julia Minor diasingkan ke Tremirus, juga didakwa dengan perzinahan; itu mungkin juga terkait dengan upaya pemberontakan oleh suaminya Lucius Aemilius Paullus dan Plautius Rufus. Dikatakan bahwa setiap kali menyebut Julia atau dua anaknya yang dipermalukan, Augustus akan berkomentar tentang mereka: "Seandainya aku tidak pernah menikah, atau mati tanpa anak", sedikit salah mengutip Hektor, dalam Ilias.

Lima tahun setelah pengasingannya, sekitar 4 M, Julia dipindahkan ke Reggio di Calabria di daratan utama dan Augustus tampaknya telah memberinya sebuah peculium (properti), penghasilan tahunan dan mengizinkannya berjalan-jalan di kota. Terlepas dari konsesi ini, Augustus tidak pernah memaafkannya atau mengizinkannya kembali ke Roma. Pilihan ini tampaknya tidak disukai kalangan orang Romawi, yang mengajukan petisi beberapa kali agar dia dipanggil kembali. Pengasingan Julia membayangi sisa tahun Augustus. Ada disebutkan setidaknya satu plot yang ditekan untuk membawanya dari penangkaran; Lucius Audasius dan Asinius Epicadus telah merencanakan untuk secara paksa membawanya dan putranya Agrippa Postumus dari tempat mereka ditahan dan ke tentara, mungkin untuk melancarkan kudeta terhadap Augustus.

Setelah kematian Augustus pada 14, Tiberius naik jabatan ke Princeps. Meskipun telah menunjukkan simpati terhadap Julia ketika dia awalnya diasingkan, dia malah memaksakan kondisi yang lebih keras padanya. Dia menghapus mahar dan pendapatan tahunannya, dengan alasan bahwa Augustus telah gagal membuat ketentuan untuk mereka dalam surat wasiatnya, dan dengan demikian membuatnya miskin. Selanjutnya, dia menolak izinnya untuk meninggalkan rumahnya atau menerima pengunjung.