В те времена, когда появилось это выражение, милиции еще не было. А если и была, то милицейские штаны были синие. Штаны же пожарника были во все времена цвета пепла. Серый здесь в значении - неграмотный, некультурный, неумный неразвитый, одним словом - серость).  Не редко используется в литературе.