Aunque dicen que Van Swanevelt vivió en la misma casa de Claudio de Lorena (cuya influencia en él es determinante), ganó fama de ser un hombre de costumbres solitarias, que le llevaron a ser apodado «"Eremiet"» (ermitaño) por sus colegas.