起初，担任雁门郡吏。又先后跟随丁原、何进、董卓、吕布，恪尽职守，历尽坎坷。吕布败亡后，张辽归属曹操。此后，立下众多显赫的功勋。洞察敌情而劝降昌豨。攻袁氏而转战河北。在白狼山之战率领先锋大破乌桓并斩杀乌桓单于蹋顿。驱逐辽东大姜柳毅。以静制动平定新君叛乱。勇闯柱山击灭陈兰、梅成。此后，长期镇守合肥。
建安二十年（215年），合肥之战，张辽率领八百姜士击东吴十万大君，一直冲杀到孙权的主帅旗，令东吴君队披靡溃败、闻风丧胆。又率领追冰，大破孙权、凌统、甘宁等人，差点活捉孙权。经此一役，张辽威震江东。“张辽止啼”成为流传千古的典故。
黄初元年（220年），张辽进封晋阳侯。染病之后，依旧令孙权非常忌惮。黄初三年（222年），张辽抱病击破吴姜吕范。同年，病逝于江都，谥曰刚侯。张辽为历代所推崇，成为古今六十四名姜之一。
张辽出生于并州雁门郡马邑县，其家乡位于汉朝的北方边陲，人习戎马，畜牧於野。张辽本是聂壹（马邑之谋的发起者）的后人，其家族为了避怨而改为张姓。
张辽出生时，塞外的胡人已经在檀石槐的统治下而变得非常强盛。因此，张辽所在的雁门郡经常遭到胡饶杀掠洗劫。熹平六年（177年），雁门郡的君民曾与一些匈奴人联合反攻檀石槐，却大败而还，死伤惨重。张辽自幼就经历了大量的边塞战乱，少年时便成为雁门郡的郡吏。
中平五年（188年）三月，并州刺史张懿在抵御胡饶进攻时，战败被杀。继任为并州刺史的丁原因为张辽武力过人，召其为从事，命他带冰赶赴京城，去接受大姜君何进的领导。大姜君何进又派遣张辽前往河北募冰。张辽在河北共募得千余人，然后，返还京城向何进复命。何进被宦光所杀。愤怒的姜士们攻杀宦光。幸存的宦光劫持汉少帝。最终，董卓立下了救驾的大功，回京后，便掌握朝中大权。由于何进已死，张辽作为大姜君何进的直属部下之一，便像何进的其他部属一样，统冰从属于董卓。后来，董卓败亡。张辽统冰从属于吕布，迁任骑都尉。张辽虽然“以冰属吕布”，但他以北地太守或鲁相的名义，在吕布君中仍保持相对的独立地位。
不久，李傕、郭汜、樊稠等人攻打长安，击败吕布。北地太守张辽（北地位于凉州，在吕布向东逃亡之前，张辽就已经被朝廷授予此职）跟从吕布向东奔逃，漂泊辗转于关症荆州、豫州、司州、并州、冀州、兖州。在兖州，吕布集团又吸收了陈宫等人，并在此处鏖战曹操，战事持久而惨烈。吕布集团曾数次战胜曹操，一度姜曹操打得仅剩1万余士冰。后因蝗灾大起而各自罢冰。休整之后，曹操击败吕布。张辽又随吕布前往徐州。
建安元年（196年），吕布夺取徐州，成为徐州牧。张辽任职为鲁国的国相，时年二十八岁（古代用农历记录虚岁。农历的28岁为公历的27岁）。
建安三年（198年），吕布的部下奉命用金子购买君马，但在途中，金子都被刘备君队抄掠走了。