Probabilmente a causa del cognome viene erroneamente associato alla famiglia Invernizzi, famosa per la produzione di formaggi (e per questo soprannominato "Robiolina"), in realtà la sua origine è Abbiategrasso, mentre gli industriali sono nati a Pasturo in Valsassina. Giovanni crebbe calcisticamente nelle giovanili dell'Inter a partire dal giugno 1945, dopo che Carlo Carcano scoprì le sue doti di calciatore prelevandolo dall'Audace Abbiategrasso. Invernizzi esordì in Serie A con la maglia nerazzurra il 30 aprile 1950 nella partita Torino-Inter 1-0, ma, non trovando un posto fisso in prima squadra, giocò successivamente in prestito con il , l' e la . Rientrato all'Inter nella stagione 1954-1955, ben presto ottenne un posto da titolare in squadra, diventandone anche capitano; rimase in nerazzurro fino al 1960, quando, dopo l'arrivo di Helenio Herrera, venne ceduto al . Passato poi al , Invernizzi terminò la sua carriera da calciatore nel 1964 con il , ma in seguito intraprese quella di allenatore, che gli diede le migliori soddisfazioni.