Dos cosas:

No uses ToList() antes del where, eso carga la base de datos completa a memoria. 

Puedes quitar el select completo.