Ashton fue un gran amigo de la familia Paget y era una visita frecuente en la residencia de la familia en Plas Newydd; fue aquí donde una de las hijas de Paget, Lady Rose McLaren, se enamoró desesperadamente de él; él rechazó sus avances y en un momento le devolvió todas sus cartas después de haber corregido su ortografía.