张绣武威祖厉人，是骠骑将军张济同族兄弟的儿子。边章与韩遂在凉州起兵作乱，金城的麹胜袭击并杀害了祖厉县长刘隽。张绣当时担任县吏，听到这个消息后，就找寻机会刺杀了麹胜，郡内的人都认为他很是重义气，讲道义。
张绣招募了地方上的一些少年，成为了祖厉一带的豪杰。及董卓兵败骠骑将军张济和李睳等人联合起来攻打吕布，为董卓报仇。张绣跟随张济，因为他作战勇猛被任命为建忠将军，封宣威侯。张济驻守守卫弘农，缺吃少穿，无奈只能领兵向南面的穰县迁移，在战斗中矢身亡。张绣于是接替了张济的兵权，将兵马屯驻在宛县，和刘表合兵一处。
太祖曹操向南征讨，驻军在淯水，张绣等人率部众投降。曹操将张济的遗孀全部都纳入到了后宫，张绣对此非常气愤。曹操知道张绣对自己不满，于是私下准备杀掉张绣。这件事正好被张绣探听得知，他率军偷袭曹操，曹操军队来不及防备，大败，曹操的两个儿子曹昂，曹安民也战死。张绣领兵退守到了穰县，曹操连年征讨，但是始终没有能攻破。
曹操和袁绍在官渡作战，张绣采纳听取了贾诩的意见，又带领部队投降归附了曹操。张绣来到曹操营中，曹操拉着他的手，和他一同参加宴席，并让儿子曹均娶张绣的女儿做妻子，拜张绣为扬武将军。在官渡这场战役中，张绣也出了很多的力，立下战功，升任做了破羌将军。
后来张绣又跟随曹操攻破袁谭的军队于南皮，太祖又给他加封食邑二千户。当时天下人口急剧地减少，只有原来的十分之一，曹操分封给其他将领的，都没有满千户的，而只有张绣比较特殊。之后张绣又跟随曹操前往柳城征讨乌丸，在途中去世。
