Alexander, finansministern, gjorde anspråket i Independent och berättade senare för BBC Radio 4 att det var "korrekt" - men ville inte avslöja vem som gjorde kommentaren.
Han berättade för tidningen att det hände under ett budgetmöte 2012.
Kulturminister Sajid Javid förnekade påståendet och sade: "Ingen sa det."
"Om de tror att någon sa det... borde de erkänna och säga vem som sa det. Verkligheten är ingen som sagt det så den enda slutsatsen är att de måste hitta på detta," sa han till Radio 4's World at One.
Alexander svarade på samma program och sade: " Jag har sagt vad jag har sagt. Det är en korrekt återspegling av en kommentar som gjordes."
Chris Mason, politisk korrespondent
I månader, om inte år, har de två koalitionspartnerna, de konservativa och liberaldemokraterna, talat upp de listor som de alla höll om vad de såg som de galna idéer som de hade stoppat den andra parten med, eller deras lysande planer som den andra sidan hade omintetgjort.
David Cameron kallade det sin lilla svarta bok.
Idag verkar Lib Dem Danny Alexander försöka lösa in en av sina.
Hans rapportering av ett privat samtal är potent eftersom det spelar på fördomar om Tories de är mest rädda för - ses som parti för de rika.
Men hans förslag försvagas enormt genom att han inte har några bevis för samtalet och inte är villig att nämna det konservativa som han anklagar dem för. Det betyder att Tories kan anklaga honom för att hitta på något han insisterar på att han inte är.
2012 års budget - koalitionens tredje - innehöll ett tillkännagivande om att öka den personliga ersättningen till 9,205 pund i april 2013.
Alexander berättade för tidningen David Cameron och George Osborne var skyldiga till "andning hyckleri" för att ha tagit åt sig äran för denna ökning, som Lib Dems säger att de måste tvinga Tory ministrar att acceptera.
"I mars 2012 när ekonomin fortfarande var i de mycket tidiga stadierna av återhämtning ville vi göra en mycket stor ökning av den personliga ersättning för att lägga en hel del pengar tillbaka i folks fickor," sade han.
"Toriernas prioritet vid den tiden var den högsta skattesatsen.
"Jag minns ett möte med en grupp högt uppsatta konservativa och en av dem - jag tänker inte säga vem - sa "Lyssna, du tar hand om arbetarna och vi tar hand om cheferna".
"Det sades över bordet i ett av de möten där vi diskuterade regeringens framtida politik. Det är verkligen tydligt var deras prioriteringar ligger."
Alexander insisterade på kravet på Radio 4 och insisterade på att han inte skulle avslöja vem som hade gjort kommentaren, men sade att han använde den för att göra en vidare kommentar om de "mycket annorlunda" attityderna mellan Lib Dems och Tories.
När Downing Street fick veta att han hade avfärdat påståendena, sade han: " De kan säga vad de vill.
"Jag minns vad som sades och jag minns det nervösa skrattet från andra sidan bordet när det sades."
Javid sa att det var "alltid, absolut" en konservativ plan för att höja inkomstskattetröskeln - även om David Cameron sa under ledarskapsdebatterna 2010 att det inte kunde göras.
Men Alexander sade att det var "extraordinärt" herr Javid hade hävdat att det alltid var Tory politik att höja tröskeln när de inte satte det i sitt manifest.
Lib Dem ledare Nick Clegg tidigare sade om kommentaren: "Självklart tror jag Danny - jag minns honom levande berätta mig det."
Danny Alexander har hävdat att han hörde en senior Tory säga till en Lib Dem kollega: "Du tar hand om arbetarna och vi tar hand om cheferna."