按《汉书•百官公卿表》：“太尉，秦官，金印紫绶，掌武事。”是汉朝的最高武职，不常置。不设置太尉时，则以太尉职归丞相。相当于今天的军委主席。按《史记•将相名臣年表》：“高帝二年（前205年），始以长安侯卢绾为太尉，五年（前202年）罢，十一年（前196年）以周勃为太尉，旋再废太尉官。惠帝六年（前189年）复太尉官，仍以周勃为之。文帝三年（前177年）再废，权归丞相。武帝元狩四年（前119年）以大将军卫青功多，特加号大司马。后元二年（前87年）以霍光为大司马大将军，领尚书事。其后，置大司马，金印紫绶，秩比丞相。”
大将军或置或废，与武帝时大司马为加号不同，西汉后期大司马为实职，而将军为号。东汉时期，以太尉、司徒、司空为三公，太尉管军事，司徒管民政，司空管监察，分别开府，置僚佐。但东汉实权已转移到尚书台，太尉实为丞相﹐与西汉早期掌武事的太尉名同而实异。可见于古代，带兵打仗的任务并不好当，或立或废并不取决于均是修养水平的高低，而是政治决策与改革的出头鸟，治国则先治军。太尉作为最高武职，除了评定全国武官的功绩高下、以为升降的依据外，就是作为皇帝的最高军事顾问。汉朝军队由各将军、校尉统领，太尉不能直接指挥军队。例如周勃平定诸吕之乱时，身为太尉，却不能进入上将军吕产所指挥的北军，只得诈称帝命方进入北军营地并取得指挥权。
魏晋南北朝时，按魏武帝曹操废三公制，自任丞相。其子曹丕即位时短暂恢复，拜贾诩为太尉。后又撤销。
隋唐时期及至元朝时，自隋撤销府与僚佐，太尉便成为赏授功臣的赠官。宋代时，太尉是辅佐皇帝的最高武官，为三公（太尉、司徒、司空）之一，正二品。而后作为以游牧征战为主的元朝，太尉更是不常置，明朝废除。