Karling ble en kort periode værende ved forbundets avdeling i Oslo før han dro tilbake til Antwerpen. I 1950 ble Karling hentet til forbundets hovedkontor og ansatt som organisasjonssekretær, en posisjon der han ble sentral både i forbundets tariffarbeid og organisasjonsarbeid. Han ble valgt til forbundsleder ved forbundets landsmøte i 1966. Han ble gjenvalgt i 1970, men varslet allerede da at han ville gå av med pensjon ved fylte 65 år, midt i valgperioden.