В 1928 году вступил в НСДАП (партийный билет № 75 946). В 1929 году был зачислен в Штурмовые отряды (СА) и стал ортсгруппенляйтером в Лорше, Библисе и Бенсхайме. В 1930 году занялся адвокатской практикой в Лорше. После прихода к власти нацистов с марта 1933 года стал начальником полицейского управления в Вормсе, а с сентября 1933 года — в Гиссене. В это время познакомился с Вернером Бестом, который убедил Йоста перейти на службу в СД. В июле 1934 года вышел из СА и перешёл в СС (№ 36 243). Затем служил в , где был руководителем 3-го управления (контрразведка). В 1938 году возглавил айнзацгруппу «Дрезден», действовавшую во время оккупации Чехословакии, в задачи которой входили арест врагов государства и занятие чешских полицейских участков. Незадолго до начала Второй мировой войны присутствовал на встрече Рейнхарда Гейдриха, целью которого являлось планирование действий айнзацгрупп, которые должны были следовать за продвижением немецких войск в Польше. В августе 1939 года по поручению Гейдриха занимался обеспечением польской униформой сотрудников СС, участвовавших в нападении на радиостанцию в Глайвице. С того же года был руководителем 6-го ведомства (Служба внешней разведки СД) Главного управления имперской безопасности (РСХА). В марте 1942 года был снят с должности, которую занял его бывший заместитель Вальтер Шелленберг.