Ivan Gagarin var av den fremstående slekten Gagarin, som fører sine aner tilbake til Starodub-na-Kljazme. Han var sønn av den russiske statsrådmannen fyrst Sergej Gagarin og hans hustru Varvara Pusjkina.