Graf Bothmer war in erster Ehe mit einer Ungarin verheiratet, die Anfang der 1950er Jahre starb. Er bewohnte in Bern eine Wohnung in der Beundenfeldstraße 49 und verkehrte noch in den diplomatischen Kreisen der schweizerischen Hauptstadt. Schon 1941 hatte Graf Bothmer in Berlin bei seinem Vetter Heinrich von Bothmer-Schwegerhoff dessen Ehefrau, das ehemalige US-Model Helene von Bothmer kennengelernt. Auch diese war inzwischen verwitwet, als er sie in Meersburg erstmals besuchte. Sie heirateten am 13. November 1953 in Bern und mit ihm lebte Helen dort – wenn sie nicht auf Reisen (z. B. in die USA und nach Israel) waren – im Winterhalbjahr. Später lebten sie ganz in Helenes Erbe, dem Fürstenhäusle in Meersburg, das sie erweiterten und in dessen Museumsbetrieb er mitarbeitete. 1956, beim ungarischen Volksaufstand, appellierte Karl im Schweizer Rundfunk für die Unterstützung seiner Landsleute, doch erst 1957 erhielten beide ein Visum, um Karls Schwester Lilly zu besuchen, die verarmt im enteigneten Schloss lebte, und um anderen Bedürftigen zu helfen. Helene und Karl standen mit vielen Persönlichkeiten der Zeitgeschichte in Kontakt, durch die Droste-Preis-Verleihungen auch mit vielen Autoren wie Nelly Sachs, Christine Busta, Rose Ausländer, Hilde Domin, Dino Larese und Helenes Freundin und späteren Biographin Monika Taubitz, die auch Karl ein Denkmal setzte. Karl starb am 28. November 1971 und wurde im Familiengrab Laßberg-Droste zu Hülshoff in Meersburg bestattet, wo auch Heinrich und Helen von Bothmer ihre letzte Ruhestätte fanden. Mit Karl scheint die ungarische Linie der Grafen Bothmer erloschen zu sein.