大司马首次出现于晋干宝《搜神记》卷四：文王以太公望为灌坛令。期年风不鸣条。文王梦一妇人。文王觉召太公问之。是日果有疾雨暴风，从太公邑外而过。文王乃拜太公为大司马。
大司马是中国古代对中央政府中专司武职的最高长官的称呼。类似于后世的天下兵马大元帅，现代的武装部队总司令。《周礼》以大司马为夏官之长。大司马之职掌建邦国之九法，以佐王平邦国。以九伐之法正邦国。应劭曰：司马，主武也，诸武官亦以为号。
大司马古代官名。《周礼夏官》有大司马，掌邦政。汉承秦制置丞相、御史大夫、太尉，汉武帝罢太尉置大司马。西汉一朝常以授掌权的外戚，多与大将军、骠骑将军、车骑将军等联称，也有不兼将军号的。
东汉初为三公之一，旋改太尉，东汉末年又别置大司马，位在三公之上。魏晋为上公之一，位在三公之上，第一品。南北朝或置或不置，北朝魏、齐的大司马与大将军并为二大，典武事，亦在三公之上。
