Stein, som var av gammal riksfriherrlig släkt, blev tjänsteman i preussiska bergverksdepartementet 1780, var 1784-1786 direktör för de westfaliska bergverken och 1787-1793 direktör i "krigs- och domänkamrarna" i Kleve och Mark, till vilkas president han utnämndes 1793. Som "överpresident" (med residens i Minden) emottog han 1796 förvaltningen av Preussens samtliga besittningar i Västtyskland, och 1802 fick han i uppdrag att organisera de sekulariserade områden, som till följd av freden i Lunéville tillfallit Preussen. 1804 utnämndes Stein till minister (chef för accis- och handelsdepartementet) och genomförde i denna egenskap flera viktiga reformer, bl. a. avskaffandet av tullarna mellan de olika preussiska provinserna. Efter de olyckliga slagen vid Jena och Auerstädt hörde han till den minoritet bland ministrarna, som förmådde kungen till fortsatt kamp mot Frankrike (november 1806). Då han vägrade motta posten som inrikesminister, om ej kungen tillmötesgick de krav i fråga om den centrala förvaltningens omorganisation, som han länge förfäktat (särskilt kabinettsstyrelsens avskaffande), erhöll han emellertid kort efteråt i onåd avsked (januari 1807).