Narodil se 6. dubna 1878 v Berlíně. V roce 1900 se stal členem hnutí "Neue Gemeinschaft" ("Nová společnost"). V té době se seznámil s významným německým anarchistou Gustavem Landauerem. V dubnu 1911 založil anarchopacifistický časopis "Kain". Po pokusu o povstání a vytvoření Bavorské republiky rad byl odsouzen na 15 let vězení. Byl propuštěn po amnestii politických vězňů v roce 1924 (touto amnestií byl propuštěn z vězení i Hitler). Od roku 1931 Mühsam veřejně žádal dělnickou třídu, aby se sjednotila v boji proti nacistům, za což po převzetí moci nacisty těžce zaplatil. Zatčen byl po požáru Reichstagu. Po odsouzení prošel několika koncentračními tábory, až nakonec skončil v Oranienburgu, kde se stal obětí nacistického sadismu. Dozorci ho oslepili, ohlušili, a vytloukli mu zuby. Každé ráno ho nechali kopat si hrob a předstírali jeho popravu. Nutili ho čistit latríny bez nástrojů. 10. července 1934 ho dozorci ubili k smrti a jeho tělo pověsili na táborových latrínách, aby to vypadalo jako sebevražda.