Nach Abschluss seines Studiums trat Karl Otto am 1. März 1929 in das Atelier von Ludwig Mies van der Rohe ein. Er wurde in die Planungen zur Deutschen Abteilung der Weltausstellung 1929 in Barcelona einbezogen, die unter Mies' Leitung entstand. Nach seiner Rückkehr nach Berlin im Juli 1929 fand Karl Otto noch im selben Monat eine Anstellung im Atelier von Hans Poelzig und wurde am Projekt Haus des Rundfunks beteiligt, mit dessen Bau im Mai begonnen worden war. Ab September 1930 war Karl Otto erneut für Ludwig Mies van der Rohe tätig. Er arbeitete an den Planungen für den Neubau der Färberei der "VerSeid AG" in Krefeld mit und darüber hinaus an einem Wettbewerb für ein Golfclubhaus, ebenfalls in Krefeld. Ab 1931 machte sich Karl Otto als Architekt selbstständig.