Den 12. juni 1813 giftet Abraham Sortenstierne seg med Ellen Olsen. Paret fikk disse barnene: Caroline Abrahamsdatter Sortenstierne og Charlotte Abrahamsdatter Sortenstierne.