Use pam_ssh :)