Faits: A. Le 14 août 2006, Z._ circulait avec sa voiture sur la route cantonale de Neirivue en direction d'Enney. A la sortie du village de Villars-sous-Mont, dans un virage à gauche, elle perdit la maîtrise de son véhicule qui dérapa, se déporta et traversa partiellement la voie de circulation réservée au trafic survenant en sens inverse. A ce moment, une collision se produisit entre l'avant droit de l'automobile et l'avant gauche du camion conduit par X._, lequel circulait d'Enney en direction de Neirivue. La voiture fut projetée en arrière, sur la droite, selon son sens de marche et un second choc se produisit entre l'arrière de la voiture et l'avant du camion. Enfin, le véhicule de Z._ s'immobilisa hors de la chaussée entre la ligne de chemin de fer et le bord droit de la route. Quant au camion, il traversa la voie de circulation opposée et s'immobilisa en travers de la ligne TPF. Depuis cet accident, Z._ est tétraplégique. B. Par ordonnance pénale du 19 décembre 2006, le Juge d'instruction du canton de Fribourg a reconnu Z._ coupable de violation des règles de la circulation routière et de circulation avec un véhicule défectueux, mais l'a exemptée de toute peine. Par jugement du 13 septembre 2007, le Juge de police a annulé l'ordonnance précitée, acquitté Z._ et renvoyé les lésés devant le juge civil pour tenter d'obtenir la réparation du dommage subi lors de l'accident. C. Par arrêt du 14 avril 2008, la Cour d'appel pénal du Tribunal cantonal fribourgeois a déclaré irrecevable le recours déposé par X._ et Y._ SA contre le jugement susmentionné. En bref, elle leur a dénié la qualité pour recourir aux motifs qu'ils n'avaient pas été touchés directement et personnellement par les infractions commises par l'intimée et qu'ils n'avaient pas pris formellement de conclusions civiles en cours de procédure. D. X._ et Y._ SA déposent un recours en matière pénale au Tribunal fédéral. Invoquant une application arbitraire des art. 31 et 197 CPP/FR, ils concluent à l'annulation de l'arrêt cantonal et au renvoi de la cause à l'autorité précédente pour nouveau jugement. La Cour d'appel pénal du Tribunal cantonal et le Ministère public de l'Etat de Fribourg ont renoncé à déposer des observations. Z._ conclut, principalement, à l'irrecevabilité du recours au motif que les intéressés n'auraient pas la qualité pour recourir au sens de l'art. 81 LTF et, subsidiairement, à son rejet.