中华人民共和国成立前，中国人民解放军曾两次拟议实行军衔制度，一次是抗战初期的第二次国共合作时期，一次是抗战胜利后国共两党重庆谈判之后。两次拟订的军衔等级都与当时国民党军队的军衔制度相同，但由于受当时环境的制约，两次拟订的军衔制度都未能实行。     中华人民共和国成立后，为加强军队的正规化、现代化建设，实行军衔制的问题很快被重新提上议事日程。
    1950年9月总干部部管理部成立时，就设置了“军衔奖励处”。
    1952年冬便着手研究军衔制的问题。
    1952年11月26日，总干部部在向毛泽东主席并军委的报告中，对实行军衔制度准备工作等问题拟制了初步计划。     当时总干部部和苏联专家初步制定的方案是将军衔设为6等20级。元帅3级：大元帅、国家元帅、兵种元帅；将官4级：上将、准上将、中将、少将；校官3级：上校、中校、少校；尉官4级：上尉、一级中尉、二级中尉、少尉；军士4级：准尉、上士、中士、下士；士兵2级：上等兵、列兵。   
    1953年《中国人民解放军军衔条例（草案）》对上述方案作了修改：增加大校一级；将上将、准上将改称大将、上将；将上尉、一级中尉、二级中尉改称大尉、上尉、中尉；其它不变。   
    1955年1月23日，中央军委发布“关于评定军衔工作的指示”。
    1955年2月8日，第一届全国人大常委会第六次会议通过《中国人民解放军军官服役条例》，中国人民解放军正式实行军衔制，军衔设置上比1953年条例草案减少了兵种元帅、准尉两级，共设6等19级。     元帅2级：中华人民共和国大元帅、中华人民共和国元帅（大元帅实际未授予）；将官4级大将、上将、中将、少将；校官4级大校、上校、中校、少校；尉官4级大尉、上尉、中尉、少尉；军士3级：上士、中士、下士；士兵2级：上等兵、列兵。
    但实际授衔时，应毛泽东本人的要求，中华人民共和国大元帅衔空缺未授；增加授予准尉军衔，这是考虑到当时我军有十几万副排级干部，军委决定暂时增加准尉衔，以解决副排级干部的衔称问题。   
    1965年5月22日，第三届全国人大常委会第九次会议通过了《关于取消中国人民解放军军衔制的决定》，1965年6月1日开始实施。     1980年3月12日，中央军委主席邓小平提出，要搞军衔制。1984年5月31日第六届全国人民代表大会第二次会议通过的《中华人民共和国兵役法》规定：“中国人民解放军实行军衔制度”。
    1985年6月，中央军委召开扩大会议，果断地提出割断1965年以前的军衔体制，“实行新的军衔制”。
    1988年4月13日，《中国人民解放军军官军衔条例（草案）》提交七届全国人大常委会一次会议审议，1988年7月1日，七届全国人大常委会第二次会议通过了《中国人民解放军军官军衔条例》，予以公布施行。士兵军衔制度同时立法。     新公布的军衔制度不设元帅、大将和大尉，而以一级上将为最高军衔。军官军衔设3等11级，将官：一级上将、上将、中将、少将；校官：大校、上校、中校、少校；尉官：上尉、中尉、少尉。海军、空军军官在军衔前分别冠以“海军”、“空军”。专业技术军官，在军衔前冠以“专业技术”。     士兵军衔按等级分为：士官：军士长、专业军士；军士：上士、中士、下士；兵：上等兵、列兵。
    1993年4月国务院、中央军委发布修改《中国人民解放军现役士兵服役条例》的决定起，军士长、专业军士划分为四个级别，称谓由低到高为：四级军士长、三级军士长、二级军士长、一级军士长、四级专业军士、三级专业军士、二级专业军士、一级专业军士。
    1994年5月12日，第八届全国人大常委会第七次会议通过了关于修改《中国人民解放军军官军衔条例》的决定。修改后的军衔条例设3等10级，将官：上将、中将、少将；校官：大校、上校、中校、少校；尉官：上尉、中尉、少尉。
    1995年9月10日，八届全国人大常委会通过《中华人民共和国预备役军官法》规定，预备役军官军衔设三等八级：少将；大校、上校、中校、少校；上尉、中尉、少尉。
    1998年12月公布的《中华人民共和国兵役法》规定，义务兵服役时间为2年，并且不再超期服役。根据兵役法，自1999年后，士兵军衔等级和专业军士、军士长的称谓自行取消，代替的是一级至六级士官。
    2009年7月13日，中央军委颁发《深化士官制度改革方案》，全军和武警部队全面施行新的士官制度。士官军衔从原先一级至六级士官的6个衔级调整为7个衔级。分为初级士官、中级士官、高级士官三个等级，称谓由低至高为，初级士官：下士、中士；中级士官：上士、四级军士长；高级士官：三级军士长、二级军士长、一级军士长。