Shep Murombedzis 25-yards avböjda ansträngning satte värdarna i ledningen halvvägs genom öppningshalvan, men målgöraren tog sedan ner Danny Rowe i lådan och Kingsley James konverterade från platsen.
Solihull fick sedan en egen spot-kick på halvtid när besökarna straffades för bogsering, och Akwasi Asante slitsade hem från 12 yards.
James tog sitt mål stämmer för säsongen till fyra med sin andra straff tre minuter efter halvtid.
Han snubblades i lådan av Jamie Osborne men plockade upp sig själv för att jämna ut poängen innan Norburn vann den vid döden.
Rapport från Pressföreningen.
Matchen slutar, Solihull Moors 2, Macclesfield Town 3.
Andra halvlek, Solihull Moors 2, Macclesfield Town 3.
Mål!  Solihull Moors 2, Macclesfield Town 3. Ollie Norburn (Macclesfield stad).
Substitution, Solihull Moors. Ryan Beswick ersätter Shepherd Murombedzi.
Omari Sterling-James (Solihull Moors) visas det gula kortet för en dålig foul.
Substitution, Macclesfield Town. Chris Holroyd ersätter Jack Sampson.
Jack Byrne (Solihull Moors) visas det gula kortet för en dålig foul.
Paul Lewis (Macclesfield Town) visas det gula kortet för en dålig foul.
Substitution, Solihull Moors. Stefan Moore ersätter Harry White.
Substitution, Solihull Moors. Omari Sterling-James ersätter Darryl Knights.
Jamey Osborne (Solihull Moors) visas det gula kortet för en dålig foul.
Substitution, Macclesfield Town. Danny Whitaker ersätter Kingsley James.
Mål!  Solihull Moors 2, Macclesfield Town 2. Kingsley James (Macclesfield Town) konverterar straffet med en.
Andra halvan börjar Solihull Moors 2, Macclesfield Town 1.
Första halvlek, Solihull Moors 2, Macclesfield Town 1.
Mål!  Solihull Moors 2, Macclesfield Town 1. Akwasi Asante (Solihull Moors) konverterar straffet med en.
Mål!  Solihull Moors 1, Macclesfield Town 1. Kingsley James (Macclesfield Town) konverterar straffet med en.
Shepherd Murombedzi (Solihull Moors) visas det gula kortet för en dålig foul.
George Pilkington (Macclesfield Town) visas det gula kortet för en dålig foul.
Substitution, Macclesfield Town. Dan Cowan ersätter John McCombe.
Mål!  Solihull Moors 1, Macclesfield Town 0. Shepherd Murombedzi (Solihull Moors).
Första halvan börjar.
Lineups tillkännages och spelarna värms upp.
Ollie Norburns sista gasp-mål såg Macclesfield avsluta Solihulls obesegrade homerun med en spännande seger som innehöll tre straff på sju minuter.