Gardner var født i Exeter i New Hampshire, og studerte ved Lasell Female Seminary i Auburndale i Massachusetts. Gardner mottok minimal trening i kunstartene som var typisk for kvinner i høyere klasser, å tegne omriss fra kort og drive med vannfarger. Ved Lasell ble hun venn med sin lærer, Imogene Robinson, en kvinne som dristig hadde reist til Tyskland for å studere i Düsseldorf på midten av 1800-tallet. Mens Gardner kopierte kopier av gamle mestre i Boston innså hun at hennes tegneferdigheter var mangelfulle og hun trengte også å skaffe seg europeisk utdannelse. Hun besluttet å bli en del av bølgen med kunstnere og kunststudenter i USA som etter den amerikanske borgerkrigen dro til Paris for studere samtidig og eldre kunst. I 1864 seilte hun til Europa sammen med Robinson.