第二次世界大戦前の日本の行政法の法理論はドイツから移入された行政法学とりわけ美濃部達吉の行政法の体系が負っていたものが大きい。ただし、ドイツから移入された「行政庁」の概念や行政官庁論は、日本の行政法学ではドイツの行政法学とは相当異なる変容もみられると指摘されている。第二次世界大戦後、日本の国家行政組織法はアメリカ型の「行政機関」概念を採用したため、それまでの「行政庁」概念や行政官庁論の有用性については議論がある。
講学上の行政機関概念.
行政は、国や地方公共団体などの公法人が「行政主体」となり、その名（名義）と責任において実施する。この行政主体は法人であるため、実際にその手足となって行為するのは、自然人によって構成されるその機関である。これを講学上（行政官庁法理論上）、「行政機関」という。行政機関や後述の行政庁、行政官庁といった語は、一般的な用法では組織や建物を指すが、ここでは法律により一定の行政上の権限および責務を与えられた自然人またはその合議体を指す。たとえば「財務省」といえば行政機関としては「財務大臣」の職にある自然人であり、都道府県であれば知事職にある自然人が「行政機関」である。
国家行政組織法上の行政機関概念.
また、会計検査院も行政機関であるが、これは内閣から独立した地位が保障された憲法機関であり、行政府たる内閣および内閣官房・内閣府・人事院・各省庁や委員会などの内閣のすべての下部組織のみだけでなく、司法府（最高裁判所を含むすべての裁判所およびその機関）・立法府（衆議院・参議院およびその機関のみならず、両院をもって組織される弾劾裁判所や裁判官訴追委員会等の機関も含まれる）などをも会計検査権限の行使対象とする点で、他の行政機関と異なる特質がある。
講学上の独任制行政官庁は、「行政機関の長」とする。省の長は大臣であり、庁の長は長官である。合議制行政官庁である委員会については、委員長が「行政機関の長」となる。省は「内閣の統轄の下に行政事務をつかさどる機関」として置かれる行政機関であり、委員会と庁は、省にその外局として置かれる行政機関である。なお、会計検査院の長は「会計検査院長」であり、人事院の長は「人事院総裁」である。