Η προέλευση του πιστολιού είναι αβέβαιη, αλλά προήλθε από τα ελαφρά κανόνια που κατασκευάζονταν στα τέλη του Μεσαίωνα και εξελίχθηκαν στα πιστόλια και στα μουσκέτα. Τα πιστόλια άρχισαν να κατασκευάζονται τον 16ο αιώνα στην Ευρώπη. Στα αγγλικά, η λέξη πιστόλι εμφανίστηκε περίπου το 1570 από τη γαλλική λέξη πιστολέ (pistolet), της οποίας η ετυμολογία παραμένει ασαφής. Μπορεί να προέρχεται από τη τσεχική λέξη píšťala, ενός ελαφριού κανονιού που χρησιμοποιήθηκε στους πολέμους των Χουσιτών το 1420, ή από την ιταλική λέξη pistolese, ένα τύπο μαχαιριού ή ξίφους, το οποίο παραγόταν στην ιταλική πόλη Πιστόια.