Κοντά στο κέντρο του Φίλλαχ έχουν βρεθεί ίχνη ανθρώπινης παρουσίας από το 3500 π.Χ. Πολλά ρωμαϊκά χειροποίητα αντικείμενα βρέθηκαν εκεί, δεδομένου ότι από εκεί περνούσε ένας σημαντικός ρωμαϊκός δρόμος αποκαλούμενος σήμερα Ρέμερβεγκ ("Römerweg"). Ένα έγγραφο του 878 αναφέρει μια γέφυρα σε αυτό που είναι σήμερα το Φίλλαχ, και στην πόλη πέρα από τη γέφυρα δόθηκαν δικαιώματα αγοράς το 1060, αν και το Φίλλαχ πρωτοαναφέρεται αρχικά στα αρχεία το 1240. Στις 25 Ιανουαρίου 1348 ένας σεισμός κατέστρεψε ένα μεγάλο μέρος του Φίλλαχ και ακολουθήθηκε από έναν άλλο σεισμό το 1690. Υπήρξαν επίσης διάφορες πυρκαγιές που κατέστρεψαν πολλά κτήρια. Το 1759 η αυτοκράτειρα Μαρία Θηρεσία της Αυστρίας αγόρασε τυπικά το Φίλλαχ, καθώς επίσης και ένα μεγάλο μέρος της Καρινθίας. Κατά τη διάρκεια των Ναπολεόντειων Πολέμων, η πόλη ήταν μέρος της επαρχίας της Ιλλιρίας της γαλλικής αυτοκρατορίας, από το 1809 μέχρι το 1813. Ο Νότιος Σιδηρόδρομος (Südbahn) έφθασε τελικά στο Φίλλαχ το 1864. Κατά τη διάρκεια της περιόδου του γερμανικού Άνσλους (1938-45), όταν προσαρτήθηκε η Αυστρία στη ναζιστική Γερμανία, δήμαρχος του Φίλλαχ ήταν ο Όσκαρ Κράους, ενθουσιώδης Ναζί. Περίπου 42.500 βόμβες σκότωσαν 300 ανθρώπους, εντούτοις η πόλη ανέκαμψε γρήγορα μετά τον πόλεμο.