広義においては、国または地方公共団体等の公務に従事することを職務とする者を総称していう。任命、嘱託、選挙その他いずれの方法で選任されたかを問わず、また立法、司法、行政のどの部門に属するかを問わない。この意味では、国家公務員法および地方公務員法にいう一般職および特別職の国家公務員および地方公務員はもちろん、国会議員や地方議会議員も含み、さらに公共企業体その他の公法人の役職員なども、公務に従事する限り公務員である。日本国憲法第15条にいう公務員はこの意味に解されている。

しかし、一般に公務員という場合には、国会議員や地方議会議員を除き、それ以外の国または地方公共団体の公務を担当する者（国家公務員および地方公務員）をさし、また狭義においては、行政に従事する職員だけをさしていう場合もある。なお、従来は、広く官吏および吏員という語が用いられ、日本国憲法においても官吏・吏員の語を用いているところがある（憲法73条4号・93条2項）が、官吏・吏員という場合には、普通、公法上の身分的隷属関係にたち、国または地方公共団体の公務に従事することを本務とする者のみをさすのに対して、公務員という場合には、それよりも広く、たとえば、臨時的労務の提供をなすにとどまる者や、ほかに職業をもつことを許される顧問、参与、委員なども含まれる。

ところで、旧憲法のもとでは、その公務員制度は、天皇に身分的に隷属した官僚的な官吏制度であった。すなわち、官吏は、すべて天皇の任官大権に基づいて任命される天皇の官吏であって（大日本帝国憲法10条）、「凡（およ）ソ官吏ハ天皇陛下及天皇陛下ノ政府ニ対シ忠順勤勉ヲ主トシ」（官吏服務規律1条）、天皇の名において人民を支配する特権階級であった。これに対して、国民主権主義を根本のたてまえとする現行憲法のもとにおいては、公務員は当然に国民の公務員であり、国民全体に奉仕すべき国民のための公務員でなければならない。憲法第15条に、「公務員を選定し、及びこれを罷免することは、国民固有の権利である」（1項）とし、また「すべて公務員は、全体の奉仕者であつて、一部の奉仕者ではない」（2項）と規定しているのは、このことを示したものである。国家公務員法および地方公務員法を中心とする現行公務員法のねらいとするところも、このような憲法の精神にのっとった民主的な公務員制度を確立し、また同時に、現代の高度に技術化された複雑な行政をできるだけ能率的に遂行しうるような科学的な制度とすることにあるといえよう。