Grazie all'incontro con il colonnello generale Ludwig Beck, suo diretto superiore, e con il successore di quest'ultimo, il colonnello generale Franz Halder, Fellgiebel fece il suo ingresso nella resistenza. Giocò un ruolo fondamentale nell'Operazione Valchiria e, il giorno dell'attentato alla vita del Führer, il 20 luglio 1944, il suo compito era di troncare tutte le comunicazioni dal quartier generale di Hitler, cosa che non riuscì a realizzare. Quando fu chiaro che l'attentato era fallito, tentò di ripristinarle.