Officerare talade med honom på lördagen, men han befanns inte bryta mot någon lag och blev inte arresterad.
Mets hövding, sir Bernard Hogan-Howe sade: "Det kanske inte var flaggan. Men jag skulle vilja gå till botten med det och vi kommer att undersöka det."
Han sa att i genomsnitt en person per dag greps för terrorrelaterad verksamhet.
Bilder av den påstådda händelsen dök upp under helgen.
Sir Bernard berättade för BBC:s Victoria Derbyshire-program: " Lagen säger klart och tydligt att om du är medlem i en förbjuden organisation som IS är, eller verkar vara, då kan naturligtvis polisen vidta åtgärder.
"Bara att ha en flagga själv, du måste göra några fler förfrågningar."
Han sade att det var viktigt att fastställa om flaggan representerade IS eller inte.
Det ställdes också till Scotland Yards chef att ett barn hade setts vifta med en miniatyrversion av flaggan, som han medgav "skulle vara en oroande sak" om korrekt.
Han sa: "Jag vill inte överreagera eftersom det kanske inte var flaggan. Men jag skulle vilja gå till botten med det."
Kraften har ställts inför en motreaktion på sociala medier om sitt beslut att inte arrestera eller ifrågasätta mannen ytterligare.
Umair J Malik tweetade att det var "utter nonsens" att mannen inte hade arresterats, medan Malen Zell också kallade det en "skämt".
Han twittrade: "Utvärtes äcklad och äcklad över att en man tilläts gå på Londons gator draperad i en #Isis-flagga."
Sir Bernard sa att landet för närvarande var på den "allvarliga" terrorvarningen med bara en nivå över den.
Han sa: "Det kan inte bli mycket högre när det gäller hot, och vi vet att det har förvärrats av det faktum att så många människor har åkt till Syrien.
"Vad det betyder är att det finns en hel del människor där ute som vi måste hålla ett öga på och se till att de inte kommer undan med sina planer."
En fullständig intervju med Sir Bernard Hogan-Howe kan ses på Victoria Derbyshire-programmet.
Scotland Yard undersöker om en man som stoppades av polisen utanför parlamentets hus drogs i en islamisk stats (IS) flagga.