Konservativ ledamot Justin Tomlinson har skrivit till Metropolitan Police efter publiceringen av ett foto på nätet av Guido Fawkes webbplats.
Tomlinson sade till BBC att trafiksäkerheten är en viktig fråga och att frågan bör utredas.
Khan, parlamentsledamoten för arbetsmarknadsfrågor för Tooting, är en före detta transportminister.
Riksdagens ledamot, som tros kunna söka Labour-nomineringen för Londons borgmästare 2016, tilldelades i år en nationell utmärkelse av trafiksäkerhetsorganisationen Brake.
Khan sade till BBC: "Det har sagts att jag tittade på min telefon medan jag var i bilen.
"Jag förstår att en konservativ parlamentsledamot nu har rapporterat denna fråga till Metropolitan polisen.  Naturligtvis kommer jag att samarbeta fullt ut med alla undersökningar."
Tomlinson har skrivit till polischefen sir Bernard Hogan Howe om den påstådda incidenten, som rapporteras ha ägt rum på måndag.
"Jag skulle vara mycket tacksam om ni kunde undersöka detta vidare - trafiksäkerhet är en allvarlig fråga och de som stiftar lagarna bör verkligen inte vara över dem", skrev han.
Met bekräftade att det hade tagit emot Tomlinsons klagomål.
En talesman sade: " Vi kan bekräfta att vi i dag har fått ett brev. Vi bedömer för närvarande dess innehåll."
Shadow Justice sekreterare Sadiq Khan har sagt att han kommer att samarbeta med någon utredning över påståenden han använde sin mobiltelefon under körning.