Hun var datter av godseier og greve Peder Anker greve Wedel Jarlsberg (1809–93) og Hedevig Betzy Annette Sigismunda Anker (1819–79). Hun vokste opp på Jarlsberg gods. Faren var Norges siste greve og hadde rett til å bruke tittelen så lenge han levde, ettersom han var født før adelen ble avskaffet i Norge i 1821. Ved hans død ble grevskapet omgjort til et stamhus. Ida som var født etter avskaffelsen, skulle strengt tatt ikke kalt seg «komtesse», men det gjorde hun. Hennes bror, stamhusbesitter Johan Caspar Herman, var kammerherre på Oslo slott hos Oscar 2, og baron Herman Wedel Jarlsberg på Bogstad gård var hennes farbror. Før fylte tyve år hadde hun gått på malerskolen til Knud Bergslien (1827–1908) i Kristiania noen år. I 1875 var hun hos sin onkel Hans Gude i Karlsruhe, før hun 1875-77 gikk i lære hos Eilif Peterssen i München og delte hybel med Asta Nørregaard (1853–1933). Her var mange andre norske kvinnelige malere. I 1877 dro hun videre til Karl Gussow i Berlin hvor også Christian Krohg var elev på den tiden.