Seus últimos anos foram perturbados por litígios e disputas a respeito de suas propriedades em East Anglian, nas quais foi ajudado por John Paston, com quem era parente por meio da esposa de Paston, Margaret, e de Sir William Yelverton, e por brigas entre facções no tribunal que acabou levando à chamada Guerra das Rosas. Paston e Yelverton seriam dois dos principais protagonistas nas batalhas por sua propriedade após sua morte. Fastolf estava inclinado a simpatizar com Ricardo, duque de York, a quem conheceu e serviu na França, mas seria um exagero dizer que ele se tornou um "yorkista". Ele ficou viúvo durante a última década de sua vida, quando morava em Southwark e Caister, e não tinha herdeiro. Ele parece ter sido uma figura um tanto solitária e fez várias tentativas de redigir um testamento.