ヒトラーは、軍の枠組みにとらわれず、自らの意志で自由に動かせる軍隊を欲していた。レームの突撃隊は党独自の私軍であったが、レーム以下突撃隊幹部は政権掌握後に突撃隊を正規軍にすることを望み、国軍（Reichswehr）と睨みあっていた。国軍と突撃隊を和解させようとするヒトラーを日和見主義者と見なす反ヒトラー派も増えており、「ヒトラーの私軍」になりうる余地はなかった。突撃隊幹部は、1934年6月末から7月初めにかけて長いナイフの夜において粛清された。粛清に主導的役割を果たした親衛隊は国軍から高い評価を得るようになった。ヒトラーはこれを利用して親衛隊の中に軍隊を設置させる道を模索した。実際に国軍の親衛隊への反感は突撃隊へのそれより少なく、長いナイフの夜直後の1934年7月5日に国防相ヴェルナー・フォン・ブロンベルクは一個師団規模の軍隊の所持を親衛隊に認める旨を軍司令官たちに通達している。9月24日、ヒトラーは三軍司令官に対して国軍をドイツ唯一の国防組織と認めつつも親衛隊が内政上特別な役割を果たすためとして武装した親衛隊部隊を3連隊と1通信隊を置くことを通達した。この通達に基づき、設置されたのが親衛隊の戦闘部隊「親衛隊特務部隊」であった。特務部隊は戦時には陸軍の司令権限を認めつつ、平時にはヒムラーが指揮を執るとされた。特務部隊の扱いは軍隊に同等であり、特務部隊の隊員は給与支給帳（Soldbuch）と軍人手帳（Wehrpaß）の所持を認められて軍人扱いを受けた。しかしこの時点では国軍の感情も配慮して特務部隊は戦力を3個連隊と1通信隊に限定され、師団編成の許可は見送られている。特務部隊の編成や訓練は国軍（1935年に国防軍（Wehrmacht）と改称）の協力を得て進められた。1934年10月にはバイエルン州バート・トェルツに親衛隊の士官学校が創設され、さらに翌年にはブラウンシュヴァイクにも親衛隊士官学校が開設された。特務部隊の軍事教練にはパウル・ハウサー（1932年まで国軍で中将をしていた人物で1934年から親衛隊に招かれていた）が大きな役割を果たし、ヒムラーの「政治的兵士」達を実戦に出せるレベルに叩き上げた。しかし国防軍は親衛隊の軍隊化を徐々に警戒するようになりはじめた。国防軍は特務部隊勤務を国防軍勤務相当であることを認めたが、1938年8月17日のヒトラーの指令が出されるまで髑髏部隊や親衛隊士官学校については国防軍勤務相当とは認めなかった。兵員補充についても国防軍から常に圧力があり、マスメディアを通じての隊員募集も国防軍から禁止されていた。そのため特務部隊隊員数は1935年1月に約5000名、1935年4月に約7600名、1936年夏に約9200名と小さな伸びにとどまっている。親衛隊の国境部隊も1937年10月に国防軍の圧力により解散させられている。国外諜報活動をめぐっても国防軍のアプヴェーアと親衛隊のSDに争いがあった。1938年に入り、ブロンベルクの妻の売春婦疑惑と陸軍総司令官ヴェルナー・フォン・フリッチュの同性愛疑惑が浮上した。これが原因で1934年2月4日にブロンベルクとフリッチュが罷免された（ブロンベルク罷免事件）。ブロンベルクの妻などの証言によるとこのスキャンダル事件はハイドリヒがでっち上げた策謀であったという。いずれにしてもこの事件により国防軍は政府内での発言力を低下させた。依然として軍事における主導権は国防軍が握っていたが、親衛隊の軍事への進出をある程度は黙認せざるを得ない立場に置かれた。1938年8月17日、ヒトラーは秘密指令を出し、親衛隊士官学校や髑髏部隊にも武装編成を認めた。これにより髑髏部隊は親衛隊特務部隊の重要な人材供給源となっていた。1939年5月の演習で親衛隊特務部隊「ドイッチュラント」連隊は、ヒトラーや国防軍の軍部達も驚かせるほどの果敢な突撃作戦を見せつけた。ヒトラーは「このような突撃は親衛隊の兵士たちでなければなしえない」と称賛し、5月18日に2万人の兵員限定をつけながらも親衛隊特務部隊の師団編成を認めた。もはや国防軍も積極的反対はしなかったが、「砲兵連隊がない親衛隊特務部隊に師団編成は時期尚早」と消極的に反対したため、親衛隊特務部隊の師団編成は延期された。これを聞いたヒムラーは砲兵連隊の編成を急がせたが、1939年9月のポーランド侵攻には間に合わなかった。この戦争に動員された親衛隊特務部隊は連隊編成のまま参加し、ポーランド侵攻後に改めてヒトラーから師団昇格を認められた。親衛隊特務部隊3連隊はパウル・ハウサーを師団長とするSS特務師団（のち「ダス・ライヒ」師団と改称）にまとめられた。また親衛隊髑髏部隊員から抽出した髑髏師団や秩序警察の警察官より抽出した警察師団も編成された。1939年末には髑髏師団や警察師団抜きで親衛隊特務部隊の隊員数は5万6000人を超えていた。西方作戦を前にした1940年4月22日、親衛隊特務部隊は親衛隊作戦本部の司令により武装親衛隊と名称を変えている。1940年11月には「ノルト」師団（のち「ヴィーキング」師団と改称）が編成された。以降も続々と師団が編成され、大戦を通じて武装親衛隊は38個師団90万の兵力を有するまでに成長した。新兵器の優先供給を受けエリート部隊として、崩壊の危機にさらされる最前線の火消し役として国防陸軍に勝る働きを見せることとなる。しかし、実際の戦闘訓練を十分に受けていなかったために戦死者も多かった。この傾向は特務部隊時代からでポーランド戦では国防軍の損害率が3%であったのに対して親衛隊特務部隊は8%に昇っていることからも窺える。ヒムラーはこうした親衛隊特務部隊や武装親衛隊の損害率の高さについては国防軍が困難な任務を親衛隊に与えるためと釈明していた。西方戦でも勇戦した武装親衛隊だったが、やはり犠牲者が多く、1940年末頃から占領地域に住むドイツ系外国人の募集が本格化された。武装親衛隊の兵員募集は親衛隊本部の長官である親衛隊大将ゴットロープ・ベルガーが主導的役割を果たした。ベルガーは国防軍と折り合いをつけながら兵員確保に励んだ。また国防軍の徴兵対象にないヒトラー・ユーゲントなどの若年層やドイツ系外国人などを盛んに集めた。やがて非ドイツ系の外国人も受け入れも開始した。ソ連との戦いを「反共十字軍」になぞらえて武装親衛隊に勧誘した。ヒムラーは非ドイツ系外国人、特に東方諸民族の受け入れに懸念があったが、ベルガーに説得された。独ソ戦の開始で戦線が大幅に拡大すると外国人の受け入れもやむなしの状況となった。武装親衛隊の中にはボスニアのイスラム教徒を中心に構成された師団まで存在した（第13SS武装山岳師団）。なお特務部隊や武装親衛隊のような軍属ではない親衛隊員は区別のために一般親衛隊と呼ばれていた。国家保安本部に代表される一般親衛隊はホロコーストの執行機関として悪名高く、終戦後、武装親衛隊のトップであるヨーゼフ・ディートリヒやハウサーらは「我々は国防軍と変わらない、国のために戦った兵士達の集団である」として一般親衛隊とはまったく別個の存在であるという主張を展開した。しかしながら、本質的に武装親衛隊の兵力供給源は（大戦末期の外国人部隊を除けば）一般親衛隊の隊員であり、武装親衛隊の高官は一般親衛隊や警察の階級も合わせて任官していることが通例であった。特に武装親衛隊第3SS装甲師団は強制収容所の維持にあたっていた親衛隊髑髏部隊からそのまま抽出されていた。戦局の悪化とともに親衛隊は国防軍に対して優位を確立していった。1944年2月には国防軍情報部長ヴィルヘルム・カナリス海軍大将の失脚に伴ってアプヴェーアの機能は親衛隊の国家保安本部のSDに吸収された。さらに1944年7月20日、国防軍将校らによるヒトラー暗殺未遂事件が発生するとハインリヒ・ヒムラーは国内予備軍司令官に任じられた。さらに陸軍兵器局が中心に開発してきたV2ロケットの生産・運用も陸軍から親衛隊の手に移されている。