Hans kommentarer fångades i en inspelning av ett stängt dörr möte, rapporterade Daily Beast.
Den nuvarande omgången av direkta fredsförhandlingar mellan israelerna och palestinierna tycks befinna sig i en återvändsgränd.
Men president Barack Obama har sagt att USA inte kommer att överge sina fredsansträngningar.
Av Paul DanaharBBC Washington byråchef
Den amerikanska departementet säger till alla att det inte är någon stor sak att John Kerry använde A-ordet för att beskriva påverkan på Israel om tvåstatslösningen för konflikten mellan Israel och Palestina kollapsar.
En taleskvinna har påpekat att höga israeliska politiker också har hänvisat till apartheid tidigare när de talar om riskerna med Israels rykte. Denna punkt är dock ärligt talat spin. Det är en sak för israeliska politiker att använda provokativt språk på sin egen politiska arena. När det används av USA:s utrikesminister tillför det legitimitet till debatten om huruvida det finns en motsvarighet mellan den gamla sydafrikanska regimen och situationen på Västbanken.
Vare sig "apartheid"-hänvisningen var en fjant eller avsiktlig, råder det ingen tvekan om att Kerry tror att Israels regering envist ignorerar hans varningar om att ett misslyckande med att komma överens om ett fredsavtal kommer att ge näring åt en kampanj som försöker avlegitimisera deras stat.
Barack Obama har tidigare avvisat användningen av termen "apartheid" i diskussionen om fredsprocessen i Mellanöstern och kallat den ohjälplig och felaktig.
Men i kommentarer inför en grupp högt uppsatta tjänstemän från USA, Europa och Japan, kända som trilateralkommissionen, använde Kerry ordet.
"En tvåstatslösning kommer tydligt att understrykas som det enda verkliga alternativet", sade Kerry, enligt Daily Beast.
"Eftersom en enhetsstat antingen blir en apartheidstat med andra klassens medborgare - eller så blir det en stat som förstör Israels förmåga att vara en judisk stat."
Kerry uppgav också att han föreslog ett fredsavtal som sannolikt skulle komma med en förändring av det israeliska och palestinska ledarskapet, och han kritiserade starkt det judiska bosättningsbygget på ockuperat territorium.
Utskottet för utrikes-, säkerhets- och försvarsfrågor (Aipac) fördömde hans kommentarer som "djupt oroande".
"Varje antydan om att Israel är, eller riskerar att bli, en apartheidstat är kränkande och olämplig", sade den i ett uttalande.
I ett uttalande till BBC noterade det amerikanska departementet att israeliska ledare tidigare hade använt termen "apartheidstat" för att varna för konsekvenserna av fredsprocessens misslyckande.
"Sekreterare Kerry, som justitieminister [Tzipi] Livni, och tidigare israeliska premiärministrar [Ehud] Olmert och [Ehud] Barak, upprepade varför det inte finns något sådant som en enstatslösning om du tror, som han gör, på principen om en judisk stat," talade kvinna Jen Psaki sade.
"Han talade om den typ av framtid Israel vill ha och den typ av framtid både israeler och palestinier skulle vilja föreställa sig. Det enda sättet att ha två nationer och två folk som lever sida vid sida i fred och säkerhet är genom en tvåstatslösning. Och utan en tvåstatslösning är den nivå av välstånd och säkerhet som det israeliska och palestinska folket förtjänar inte möjlig."
Förra veckan avbröt Israel den pågående omgången av fredsförhandlingar mellan USA och andra länder, som återupptogs i juli förra året efter ett treårigt avbrott och krävde att ett försoningsavtal mellan två stora palestinska fraktioner skulle upphävas.
Fatah, som leds av den palestinska myndighetens president Mahmoud Abbas, och Hamas, som styr Gaza, sade att de planerade att bilda en enhetsregering under de kommande veckorna.
Hamas avvisar Israels rätt att existera och utses till terroristgrupp av USA, EU, Israel och andra länder.
Netanyahu berättade för BBC att Mr Abbas kunde "ha fred med Israel eller en pakt med Hamas - han kan inte ha båda".
USA uttryckte "försämring" över enighetsavtalet, men drev på för att samtalen skulle fortsätta.
Förra veckan sade Barack Obama att hans administration skulle fortsätta att erbjuda "konstruktiva strategier". Men han tillade att "den ena sidan hade politisk vilja att fatta svåra beslut" och att det kanske måste bli en paus i processen.
USA:s utrikesminister, John Kerry, har varnat för att Israel riskerar att bli "en apartheidstat" om en tvåstatslösning på konflikten med palestinierna inte dyker upp inom kort.