I 1885 tok hun til motmæle mot teologene J.C. Heuch og Michael Johan Færden, som mente at kvinnefrigjøringen var til skade for samfunnet og at en slik frigjøring gikk mot kristendommen. Hun fikk sitt innlegg på trykk i Luthersk Ugeskrift. Det var høyst uvanlig for kvinner å gå mot menn i offentlig debatt på slutten av 1800-tallet. I et brev til Thomasine og Jonas Lie, som da oppholdt seg i Paris, uttrykker Kielland at hun er selv forskrekket over å få innlegget på trykk – og hun skiver at hun anser seg selv som modig. Ikke minst uvanlig var det at Kielland som ugift kvinne offentlig uttrykte lengsel etter å stifte familie og å få barn.