ヘッセン北部ホムベルク (エフツェ) に薬剤師の息子として出生。ベンスハイムのギムナジウムへ通い、1923年にアビトゥーアに合格したあと、ミュンヘン大学、ギーセン大学で法律を学び法学博士号を得た。1927年5月に弁護士試験に合格。1928年2月（もしくは1927年末）には国家社会主義ドイツ労働者党（ナチ党）へ入党。党員番号は75,946であった。1930年からはヘッセンで弁護士として独立開業した。党内においては党地区指導者、管区宣伝部長を歴任し、1931年にはナチ党の突撃隊隊員となった。法学学位があったことから、ナチ党の政権掌握後に全国的に開始された均質化による全国組織への党側からの浸透策である警察監督官に抜擢され、1933年3月にはヴォルムスの警察監督官に任じられ、ついで10月にはギーセンの警察監督官に転じた。ヘッセン州知事となったヴェルナー・ベストにこの頃より目をかけられるようになった。1934年6月にラインハルト・ハイドリヒから SD 入りをすすめられ、突撃隊から親衛隊へと転籍（隊員番号36,243）してIII局（国外諜報部門）の局長に任じられた。1938年にはチェコスロヴァキアで最初に組織された特別行動部隊「アインザッツグルッペン・ドレスデン」の指揮官となった。1939年4月20日に親衛隊少将に昇進し、8月にはグライヴィッツ放送局占拠事件の際にはポーランド軍服を調達する役割を果たした。1939年9月にハイドリヒが国家保安本部を立ちあげると第VI局（SD国外諜報）局長となり、1941年1月1日からは警察少将も兼任した。1942年3月23日に東部戦線のアインザッツグルッペンA隊司令官フランツ・ヴァルター・シュターレッカーがパルチザンに殺害されると、これに代わってアインザッツグルッペンA隊司令官に任じられ、東部戦線へ赴きユダヤ人の銃殺を指揮した。さらにリガで東国の保安警察及びSD司令官となった。第VI局局長の地位は1942年6月まで留任したが、ハイドリヒが暗殺された後に解任され、局長代理としてヴァルター・シェレンベルクが任じられた。さらに9月2日にはアインザッツグルッペンA隊司令官からも解任され、国家保安本部には残留したものも役職はなく中央から完全に外され、A軍集団付東部占領地区大臣代理としてニコライエフに左遷された。1943年からは武装親衛隊軍曹として東プロイセンのラステンブルクに駐屯する対戦車猟兵予備訓練部隊に転属した。1945年1月にはハインリヒ・ヒムラーの決定でヨストは親衛隊から除かれ、年金も剥奪された。1945年4月にアメリカ軍に逮捕され、1948年には他のアインザッツグルッペン指揮官たちとともにニュルンベルク継続裁判のひとつ「アインザッツグルッペン裁判」にかけられた。ここで終身刑を宣告されたが、1951年には仮釈放された。その後は土地管理人をして生計を立て、1964年にベンスハイムで死去した。
入間県と（旧）埼玉県が並立していた1872年～1873年頃において、埼玉県の町村数974、戸数78,512、人口430,379に対し、入間県は町村数1,019、戸数81,853、人口410,952であり、また石高ではそれぞれ埼玉県48万石と入間県40万石と、入間・埼玉両県はほぼ同程度の規模を有していた。その一方、面積は入間県の方が大きく、大区小区制が導入されると旧埼玉県の24区（のちに25区）に対して、入間県には11大区94小区が設置された。旧入間県が埼玉県に編入された後の1884年（明治17年）、秩父事件が起きると、事件の発生地から県庁のある浦和町が遠かったことが対応の遅れの一因であるとして、1887年（明治20年）3月10日、埼玉県知事（前年に県令から名称変更）は内務大臣に熊谷への県庁の移転を内申した。12月には県庁の移転を求める運動が熊谷など旧入間県で発生したが、1890年（明治23年）9月25日の勅令によって、浦和町が正式な県庁所在地とされた。しかし7年後の1897年（明治30年）、府県制が実施に移され自治体としての埼玉県が確立し、初の埼玉県会議員選挙が行われることとなると、大規模な県庁移転運動が再燃する。そして12月25日、県庁を旧入間県の熊谷に移転する建議が県会で可決される。しかし、これは内務省に「不可」として却下された。埼玉県の県庁所在地である浦和は、江戸時代には中山道の宿場町の1つであるが比較的小規模であったこともあり、昭和初期までは、元が城下町であった川越や熊谷県の県庁所在地であった熊谷などの旧入間県内の都市が、埼玉県内では人口の多い都市であり、埼玉県内で最初に市制施行されたのは川越であった。しかし、関東大震災にて東京が甚大な被害を受けたことや、東北本線の電車線の開通などを契機として、鋳物工業の集積が進んだ川口や、東京のベッドタウンとして人口の流入を受けた浦和や大宮など、旧埼玉県南部の都市の拡大が本格化すると、やがてこれらの都市の人口が川越や熊谷を上回るようになり、戦後の高度経済成長にはその差がさらに拡大した。なお、浦和・大宮・与野は2001年（平成13年）に合併し県内唯一の100万都市であるさいたま市となり、川口は人口50万人を突破した後の2011年（平成23年）に鳩ヶ谷を合併している。これに対し、旧入間県域には川越や秩父にかつての栄華を偲ばせる町並みや祭事など有形無形の文化遺産が多く残り、埼玉県を代表する主要な観光地となっている。終戦直後の1948年（昭和23年）10月25日、県庁職員の放火により浦和の県庁舎の大部分が焼失すると、その後3日のうちに大宮と熊谷が県庁の誘致に乗り出し激しい誘致合戦が起こった。特に大宮は1950年（昭和25年）の「県庁復興対策特別委員会」の決選投票まで浦和と争った。 明治4年の太政官達で正式に県庁とされた岩槻は、2005年（平成17年）4月1日にさいたま市に編入されるまで、一度も県庁所在地になることはなかった。純粋な公選となった戦後の埼玉県知事でも、大沢雄一（葛飾郡）、栗原浩（埼玉郡）、畑和（埼玉郡）、土屋義彦（埼玉郡）と続き、上田清司（志木市）を唯一の例外として、東部の旧埼玉県を生地・居住地とする知事が続いた。荒川を境に埼玉県の東西では文化圏が異なり、鉄道という公共交通という観点からみても、旧入間県域は私鉄の東武東上線、西武池袋線、ならびに西武新宿線沿線が中心であり、JRの京浜東北線や埼京線沿線の旧埼玉県域とはかなり趣が異なっている。