Darren Jones tog ner Jobi McAnuff i straffområdet och O's top-scorer Simpson tog hans säsong stämmer till 22.
Vinsten innebär att värdarna stiger två platser till sjätte i League Two bordet som ny spelare-manager Kevin Nolan haft en andra på varandra följande seger.
Newport producerade en stridande föreställning, men förblir 20: e efter en natt av få chanser.
Nolan skickade in den talande korset mot McAnuff för spelets avgörande ögonblick och domare Andy Davies tilldelade en spot-kick för utmaningen av Jones.
Newport manager Warren Feeney sade till BBC Radio Wales: "Det är kanske ett av de värsta beslut jag har sett i spelet.
"Folk säger att spelare har dåliga föreställningar, men du måste titta på vad du säger om dessa människor (referenter).
"Jag skulle inte ha något emot om han är konsekvent, men genom hela spelet, jag trodde att han var fattig från början.
"Jag är utsliten för spelarna eftersom jag inte tycker att de förtjänade det."
Ett tvistande Jay Simpson straff var tillräckligt för att tjäna promotion-chasing Leyton Orient seger över Newport County.