Han var sønn av lærer Peter Nicolaj Frost Fibiger og hustru Mathilde Friedrichsen. Han gikk den private realskolen i Hurup og tenkte egentlig å gå latinskolen i Aalborg og ta ingeniørutdannelse, men ble overtalt av familievennen Christen Mortensen Nyby om å gå i lære hos ham på Øland hovedgård i Harring sogn i Thy. Moren hadde vært tjenestepike hos Nyby. Fibiger fortsatte i lære ved Skaarupgaard i Vendsyssel, hvor moren var født, på Støvringgård ved Randers, og på landbruksskolen i Malling ved Aarhus. Bare 19 år gammel ble Fibiger ansatt som Nybys forvalter på Øland hovedgård. I 1909 kjøpte han hele gården av Nyby, som var barnløs og blitt over 80 år gammel. Vilhelm Fibiger giftet seg samme år med Astrid Klindt Sørensen.