Abdul Nabi, 30 år, beskrivs som svart - av asiatiskt utseende - omkring 5ft 7in lång och mager, med kort lockigt hår.
Alla som ser honom har blivit ombedda att ringa 999.
Officerare sökte mark runt Midpark Hospital och Maidenbower nära Crichton universitet och affärskomplex. Lokaler i närområdet larmades.
Sökandet gick sedan vidare till Calside och Georgetown områden i staden och eleverna vid Georgetown Primary School fick sin idrottsdag avbruten.
Polishundar och polisens flygunderstödsenhet deltog också i försöken att spåra Mr Nabi.
"Detta är en saknad person utredning och vi vill att allmänheten ska vara alert, men inte orolig", sade en talesman.
"Vi frågar om han inte blir sedd och du kontaktar polisen."
Insp Rory Caldow sa att officerare hade gjort en storskalig sökning sedan omkring 12:30.
"Vi hade tidiga farhågor om att han kan ha varit i besittning av en kniv, men vi förstår att så inte är fallet nu", sade han.
"Nabi är en sårbar saknad man och vår oro för säkerheten för de offentliga centrumen om osäkerheten i hans reaktion om han skulle kontaktas.
"Vi ber allmänheten att vara vaksam och rapportera alla iakttagelser, utan att närma sig honom, på larmnumret 999."
Polisen har varnat allmänheten för att närma sig en man som rapporterats saknad från ett psykiatriskt sjukhus i Dumfries.