I 1970 grunnla han Rote Armee Fraktion (RAF) sammen med Andreas Baader og Gudrun Ensslin. De tre grunnleggerne utførte så en serie bankran og bombeangrep sammen med Ulrike Meinhof. De reiste så til Jordan og trente geriljakrig sammen med PLFP. Da de kom tilbake til Tyskland ble de imidlertid arrestert. Mahler ble dømt til 14 års fengsel og fradømt retten til å praktisere som advokat.