Harry Frankfurt is geen moraalfilosoof, hij geeft zelfs te kennen dat hij moraal geen bijster interessant onderwerp vindt, en dat het belang ervan vaak overschat wordt. Desondanks, of net daarom, zijn moraalfilosofen zeer geïnteresseerd in Frankfurt: hoe kan je moraal nu niet belangrijk vinden? Frankfurt heeft daarop een anwoord: in aansluiting bij de kritiek van Bernard Williams en Michael Slote op de overridingness-thesis verzet hij zich tegen wat hij noemt het panmoralisme. Hij ziet geen enkele reden waarom morele overwegingen steeds zwaarder zouden moeten doorwegen dan andere normatieve claims. Het welzijn van andere mensen (volgens Frankfurt het doel van moraal) is per slot van rekening slechts één van de dingen waar een mens om geeft, naast bijvoorbeeld het geluk van zijn kinderen, het ontwikkelen van persoonlijke vaardigheden, het genieten van esthetische ervaringen... 
Maar erkent Frankfurt dan niet dat morele imperatieven een bijzonder gezag genieten? Tennisregels en morele regels plaatsen we niet op dezelfde hoogte: wie geen zier om tennis geeft, kan die eerste aan zijn laars lappen, maar aan morele regels onttrek je je niet zomaar. Vele filosofen verbinden dit categorische karakter van morele imperatieven met de bindende wetten van de rede. In deze rationalistische verklaring van de normativiteit van moraal worden morele imperatieven tot een soort van rationele geboden. Wie immoreel is, is bijgevolg ook irrationeel. Frankfurt denkt dat rationalisten de bal misslaan. Dat we een schurk anders beoordelen dan een idioot is daarvan een eerste bewijs. Maar zijn kritiek gaat verder: immorele actoren brengen het er te goed vanaf in een rationalistische benadering. Hun immorele gedrag wordt dan immers op conto geschreven van een denkfout, iets waar ze zich als persoon makkelijk van distantiëren. Maar morele kritiek moet volgens Frankfurt een persoon diep raken, en moet daarom de foute handeling toeschrijven aan wat deze persoon ten diepste definieert. Volgens Frankfurt is dat niet zijn rationele vermogen maar zijn volitionele identiteit met de bijhorende noodzakelijkheden en limieten van wat een mens kan willen. 
Ter vervanging van het rationalisme ontwikkelt Frankfurt een rechtvaardiging van morele eisen op basis van waar mensen om geven. Inzoverre moraal belangrijk is voor ons, kan dat enkel te danken zijn aan het feit dat morele imperatieven ten dienste staan van bepaalde waarden en idealen waar we om geven en die ons leven betekenis verlenen. De amoralist, iemand die het gezag van moraal in vraag stelt, is niet irrationeel zoals de rationalisten beweren. Er is iets anders mis met hem: zijn volitionele identiteit verschilt zo grondig van de onze dat we zijn bereidheid om afschuwelijke daden te stellen als ‘ondenkbaar’ moeten beoordelen. Gelukkig, zegt Frankfurt, delen de meeste mensen dezelfde basale bekommernissen, zoals die om fysieke integriteit of sociaal contact, waardoor moraal voor de meesten van ons een vanzelfsprekende autoriteit bezit. Deze naturalistische wending laat Frankfurt toe om de universalistische claims van moraal te vrijwaren. Maar anderzijds dreigt Frankfurt op die manier morele gevoeligheden te herleiden tot instincten. De diepste bekommernissen die onze identiteit bepalen zijn dan niet meer dan biologische en psychologische noden. Frankfurt fundeert de moraal, het hoogste waartoe een mens in staat is, in instincten, de natuurlijke aanleg die de mens deelt met de niet-menselijke dieren. Niet alleen klinkt deze fundering van de moraal contra-intuïtief, ze heeft bovendien iets weg van een naturalistische drogreden.