Stedsnavnet er i Oslo byleksikon og Store norske leksikon forklart som 'det skarpe hjørne' av nederlandsk med henvisning til Isaac van Geelkercks kart fra 1649, eller som en forvanskning av , 'Nordskansen'. Forklaringen skyldes en sammenblanding med den spisse nordre bastion på Akershus festning, som på Geelkercks kart fra 1649 er kalt «Scherpen oort». Geelkercks kart omfatter ikke Skarpsno, og det er usannsynlig at det har ligget en skanse her. Navnet finnes flere steder i Norge og forklares ofte som beskrivende for et værhardt sted.