En 1996, après l'expiration de son contrat rookie, Houston signe en tant qu'Agent libre () avec les Knicks de New York, franchise avec laquelle il joue lors des neuf saisons suivantes. Les Pistons sollicitent alors Houston afin de constituer un duo d'arrières avec Grant Hill, mais Houston quitte Détroit sans avoir discuté d'un contrat, laissant les fans des Pistons déçus. Lors de sa première saison avec les Knicks, Houston prend la place de John Starks en tant que titulaire, Starks devenant son mentor depuis le banc de touche. Houston garde sa moyenne offensive avec 17 points par match, aidant son équipe à atteindre les Finales NBA 1999. Son action la plus mémorable a lieu lors de la cinquième rencontre du premier tour des playoffs 1999 contre le Heat de Miami. Dans le quart-temps, les Knicks ont la possession de balle, Allan Houston récupère le ballon et tente le shoot alors qu'il ne reste plus que 0,8 seconde à jouer. Le tir est victorieux et les Knicks remportent le match 78-77 ainsi que la série. C'est l'une des rares fois où une équipe classée une équipe classée 1 lors de playoffs NBA. Les Knicks se qualifient ensuite pour les Finales NBA. Houston participe aussi au All-Star Game en 2000 et 2001.