W 1863 zadebiutowała jako poetka, publikując swój pierwszy zbiór wierszy, których wydawanie kontynuowała nieregularnie, aż do swojej śmierci. Większość z nich hołdowała znanym kobietom, w części wyrażała również pochwałę dla walki Danii w wojnie duńsko-pruskiej. Wczesna twórczość Kræmer nie osiągnęła jednak znaczącej popularności. Jej opowiadania, dramaty, dzienniki z podróży oraz artykuły na tematy religijne, etyczne i polityczne również nie odniosły sukcesu.