Jabarkan Masa kecil dan keluarga dari Scooter Libby

Libby dilahirkan di New Haven, Connecticut  dalam sebuah keluarga Yahudi  dan dibesarkan di Florida. Ayahnya adalah seorang bankir investasi yang sukses. Berbagai sumber melaporkan bahwa nama sebenarnya adalah Irving (atau bentuk singkatnya Irve atau Irv)  dan Libby telah memberikan keterangan yang berbeda-beda tentang asal usul nama julukannya. Setelah lulus dari Sekolah Eaglebrook dan Andover, sekolah berasrama yang eksklusif di New England, Libby lulus dari Universitas Yale pada 1972. Profesornya adalah Paul Wolfowitz yang merupakan mentornya dan menghasilkan pengaruh politik yang mendalam padanya. Libby memperoleh gelarnya, Juris Doctor (J.D.), dari Sekolah Hukum Columbia pada 1975.

Libby menikah dengan Harriet Grant, seorang mantan pengacara staf untuk Komisi Senat untuk Keyakiman yang saat itu diketuai oleh Senator Demokrat Joe Biden. Libby dan Grant tinggal di McLean, Virginia dan mempunyai dua orang anak. Saudara perempuan Libby, Sandra Libby, menikah dengan John Rendon, pemimpin Rendon Group, sebuah perusahaan hubungan masyarakat Washington yang bertanggung jawab atas pembentukan Kongres Nasional Irak.