Ole Paus Ibsen ble født 19. desember 1835 på Ibsens Venstøp i Gjerpen. Han var sønn av tidligere kjøpmann i Skien Knud Ibsen og Marichen Altenburg, og ble oppkalt etter skipsfører Ole Paus, som både var Knuds stefar og Marichens onkel. Han vokste opp på Venstøp frem til 1843, da familien flyttet til et hus på Snipetorp i Skien som foreldrene lånte av onkelen Christopher Blom Paus.