Die ersten Besitzer hießen mit Vornamen Casper, Fabian und Sebastian. Sie waren Amtshauptmänner von Preußisch Eylau bzw. von Oletzko, gefolgt von Meinhard (Landrat von Rastenburg, Oberstleutnant, geboren 1590). Er legte den Steinorter Park, die Eichenallee sowie den Kreuzgang aus ionischen Säulen an. Ein Teil der Eichen steht für jedes auf Steinort geborene Kind der Familie von Lehndorff. Der Ort mit dem zugehörigen Gutshof ist auch der Stammsitz der Familie von Lehndorff. Der 1637 geborene Ahasverus war Nachfolger auf Steinort. Seine dritte Frau Eleonore ließ das Herrenhaus errichten. Sein Sohn Ernst Ahasverus übernahm die Nachfolge. Von 1758 führte dessen Sohn Ernst Ahasverus Heinrich (geboren 1727) die Linie weiter. 1770 wurde sein Sohn Carl Ludwig geboren, er übernahm dann Steinort. Er hatte fünf Kinder, und sein ältester Sohn Carl Meinhard übernahm 1854 Steinort. Carl Meinhard heiratete seine Cousine Anna, geborene Gräfin Hahn-Basedow, die nach seinem Tod 1883 die Leitung des Besitzes bis zur Mündigkeit ihres Sohnes Carl Meinhard übernahm. Dieser Carl Meinhard („Caroll“) blieb Junggeselle. Da er somit kinderlos war, ging der Besitz nach seinem Tode im Jahr 1936 auf die Linie Preyl seines Onkels Heinrich über. Von dessen beiden Söhnen erbte der jüngere, Manfred. Der ältere, Heinrich, war im Ersten Weltkrieg gefallen. Manfred verzichtete und übergab an seinen Sohn Heinrich Graf von Lehndorff, der wegen seiner Beteiligung am Attentat auf Hitler 1944 ermordet wurde. Da Heinrichs Bruder, Ahasverus, im Krieg gefallen war, hätte Hans von Lehndorff (Vetter von Heinrich) die Linie weiterführen können.