Ο Παναγιώτης Σκαλούμπακας γεννήθηκε στην Επισκοπή Τεγέας της Τρίπολης το 1918. Ήταν γιος πολυμελούς αγροτικής οικογένειας Βενιζελικών (οπαδοί του Αλ. Παπαναστασίου) και είχε άλλα τέσσερα αδέλφια, τρία μεγαλύτερα και ένα μικρότερο. Φοίτησε στη Στρατιωτική Σχολή Ευελπίδων όπου αναφέρεται ότι ως εκπαιδευτής κτυπούσε τους πρωτοετείς και έλαβε μέρος στον Ελληνοϊταλικό Πόλεμο του 1940.