Gustave was de oudste van de achttien kinderen die tussen 1835 en 1857 in het gezin van de uit Kortrijk afkomstige Hippolyte Rolin (1804-1888) en Angélique Hellebaut (1811-1870) werden geboren, en van wie er vijftien de volwassen leeftijd bereikten. Hippolyte was een vooraanstaand advocaat die in 1827 met onderscheiding afstudeerde aan de Rijksuniversiteit Leuven, zijn eed als advocaat aflegde en afreisde naar Berlijn waar hij colleges volgde van onder andere Von Savigny en Hegel. Toen in 1830 de Belgische Revolutie uitbrak, kwam Hippolyte terug en vestigde zich als advocaat in Gent. Hij behoorde er tot de orangisten. Na verloop van tijd verzoende hij zich met het Belgische koninkrijk. In 1846 werd hij voorzitter van de Gentse "Union libérale" en werd gemeenteraadslid en schepen van Gent. Van 1848 tot 1850 hij Minister van Openbare Werken in het kabinet Charles Rogier en tevens zetelde hij van 1848 tot 1852 in de Kamer van volksvertegenwoordigers.