张辽表示谢罪，表示自己假借曹操的威信，昌豨一定不会加害自己。

建安七年（202年），张辽在黎阳（今河南浚县）讨伐袁谭、袁尚有功，曹操任命其为中坚将军。

此后张辽跟随曹操攻击据守邺城（今河北临漳）的袁尚，久攻不下。

曹操率军返回许昌（今河南许昌），张辽同将领乐进奉命讨伐阴安（今河南清丰），攻克阴安后，张辽将当地民众迁徙到黄河以南地区。

建安九年（204年），张辽再次跟随曹操攻打邺县，攻破邺县后。

张辽单独被派往赵国（今河北邢台）、常山（今河北石家庄）一带，招降太行山贼寇以及黑山军的孙轻等人。

次年张辽随曹操攻打袁谭，击败袁谭后，张辽奉命前往海滨，击败辽东公孙度委任的营州（今河北、辽宁一带）刺史柳毅，此后又联合广平（今河北鸡泽）太守何夔平定了矣平的从钱等人。

建安十一年（206年），张辽返回邺城时，曹操亲自出来迎接他，并同他一起坐车而回，此后任命张辽为荡寇将军。

同年，张辽跟随曹操攻击荆州（今湖南、湖北一带），张辽先后平定江夏（今湖北新洲）诸县，回军驻扎在临颍（今河南临颍），被封为都亭侯。

建安十二年（207年）曹操打算征讨柳城（今辽宁朝阳），张辽向曹操进言。

曹操率军北伐，许都（今河南许昌）空虚，如果荆州牧刘表派遣刘备率军攻击许都，那事情就危险了。

曹操向张辽表示，刘表不能任用刘备，遂率军出征。

同年八月，曹操登上白狼山，遭遇乌桓人。

当时军队大多都在后方，而在曹操身旁的人很少，众人都为此感到惊慌。

张辽劝曹操出击，曹操将自己手持的麾旗交给他。

之后张辽率军出击，斩杀乌桓单于蹋顿，并降服二十多万人。

建安十三年（208年）六月，当时荆州还没有平定，张辽奉命前往长社（今河南长葛）驻扎，快出发的时候，军中有谋反的人，在夜晚放火呼叫，军营因此被扰乱。

张辽让身边的卫士别动，表示不是全营造反，只是部分叛乱的人，打算制造混乱而已。

小主，

随后张辽传令军中，让不想造反的士兵安心静坐。张辽亲自率领几十名亲兵，伫立在军营中间。