I 1992 medvirket Mahoney i et avsnitt av komedieserien , der han spilte en pianist som var innleid for å skrive en signaturmelodi for baren. Det ble hans steg inn i spin-off-serien som begynte året etter. Mahoney ble særlig kjent i sin vedvarende rolle som Martin Crane i fjernsynsserien , der han fra 1993 til 2004 var faren til hovedpersonen. Han spilte den pensjonerte og noe bevegelseshemmede politimannen som delte liv og bolig med sin sønn, som han hadde lite til felles med. For denne rollen ble Mahoney flere ganger nominert til prisene Emmy og Golden Globe.