可是当张辽募兵尚未还时，京中的何进已因剿宦失败而死，因此张辽所领兵尽归董卓所有。董卓死时，张辽统兵归属于吕布，迁任骑都尉（相当于骑兵队长，地位略低于将军）。
建安六年（公元201年），张辽与夏侯渊同围昌豨于东海，历经数月，粮秣将尽，众人商议先引军而还，但张辽却向夏侯渊说：“这些天以来，每次我们巡视围城军情时，昌豨就两眼盯着我看。而且他的士兵所发射的箭日益稀少，此必是昌豨心怀犹豫，所以才没有力战。我希望能挑试一下他，并与之洽谈，倘若可以成功诱使昌豨下山，不是很好吗？”
于是命人向昌豨说：“曹公有命令，让张辽来对你传达。”昌豨果然下山与张辽对话。张辽便说：“曹公神智武勇，正在用他的仁德感化四方各派的势力，先归附的可以受大赏。”于是昌豨便答应投降。张辽知其肯降，于是只身上三公山，入昌豨家中，并拜候其家人。昌豨见张辽如此坦诚相对，心中欢喜，便随之往见曹操。
建安七年（公元202年），张辽从讨袁谭、袁尚于黎阳时，累有功劳，行中坚将军。
建安十三年（公元208年），那时候荆州尚未安定，曹操命张辽屯军于长社。军队临出发之际，军中忽有谋反者起事骚动，半夜惊乱起火，全军尽受其扰。