建安七年，袁紹憂病而亡，勢力分別由其子袁譚、袁尚繼承，曹操親率軍馬征討，張遼亦在其列，黎陽一役擊潰二袁聯軍，以戰功論賞「行中堅將軍」[7]。袁尚逃至鄴城壁壘堅守，曹軍緊隨而至，數攻不下，曹操先回許昌，遣張遼與樂進迂迴東進攻拔陰安（故治在今河北豐縣之北），將縣民全數遷徙至黃河以南之地（即衮州東郡），削弱袁氏的力量（陰安在鄴東南約七十公里處）。

　　一年後，張遼再隨曹操攻鄴（冀州治所、袁氏勢力大本營），袁尚敗走，張遼奉命另領一軍攻取鄴縣以北的趙國、常山郡等地（相當今河北阜平以南、邯鄲市以北、陽泉市以東、東至石家莊市一帶），招降了境內佔山為王的各寨草寇，以及「黑山」帥張燕手下孫輕等將領的人馬。接著，再與曹操合兵征討逃奔南皮的袁譚（此時建安十年），攻城戰自早發動、到了中午仍不見突破，曹操乃策馬至鼓臺之前，親自手持桴槌，口呼萬歲，同時於馬上舞動身軀揮臂奮力擂鼓[8]，三軍受此感染，一時鼓聲喊聲號角大作，士氣大振、人馬爭勇向前，殺得袁軍大敗，南皮城陷落，袁譚被擒授首，冀州遂平。但張遼此刻又馬不停蹄地率領另一支部隊沿海濱北上，打擊圖謀佔據遼東的公孫度勢力，將柳毅等人的部隊一舉殲滅。凱旋回至鄴城，不久前黑山賊帥張燕率十萬餘眾歸降，而曹操認為此亦是肇因於張遼招降孫輕之功，乃親自出迎，然後讓張遼同自己共乘一車回到城中，並加封為五品盪寇將軍。隨後張遼再奉命領軍別擊荊州，給收留劉備的劉表一個下馬威，江夏郡下諸縣皆被平定，張遼還屯臨潁縣（治所在今河南臨潁西北），屏衛許昌南方，受賜都亭侯爵位[8]。

　　建安十二年，曹操意欲北征三郡烏丸（烏丸聚居郡地的合稱），打算將投奔單于的袁尚、袁熙的殘餘勢力來個一勞永逸、徹底根除，可是諸將多有持反對意見者，主要還是擔心南方的劉表會聽從劉備的建議從背後襲擊，張遼亦在其中之列，據裴松之注引《傅子》所記，其諫曰：「夫許，天下之會也。今天子在許，公遠北征，若劉表遣劉備襲許，據之以號令四方，公之勢去矣。／許昌乃天下政治中心之大都會。今漢天子身居許都，主公親統大軍北征，倘若劉表派遣劉備率兵偷襲許昌，將皇帝控制在手以號令四方諸侯，到時主公就可說是大勢已去了。」

　　不過謀士郭嘉卻不作如是想，認定劉表必不全然信任劉備，因而力勸曹操出兵，郭嘉的說法其實正合曹操所意，於是更無顧慮揮師北上。大軍行至半路遇上大洪水，濱海之路難以通行，加上塞外道路阻隔斷絕，行程多有延誤，此時郭嘉建議：「輕兵兼道以出，掩其不意。」曹操深然其說，親率輕騎，以袁紹舊將田疇為嚮導，密出盧龍塞（關隘名、即今潘家口、於河北喜峰口附近），直指單于大本營；可是即便如此，在曹軍來到柳城外二百里處時，行跡仍被敵人發現。獲知情報的袁尚兄弟緊急與遼西單于蹋頓、樓班以及右北平單于能臣抵之等出動數萬名騎兵前往截擊。

　　兩軍在白狼山前相遇[9]，曹軍見敵人來勢甚眾，而且眼下只有數千名輕裝騎兵，甲士、車輛與輜重俱還遙遙在後，左右皆有懼色。就在眾人面面相覷之際，曹操登上高處，放眼只見敵軍部伍不整、陣勢雜亂，這時身旁張遼進前力請一戰，語氣甚是激昂，曹操聞之深受激勵，亦壯其膽魄，便將自己所用儀仗中之麾旗授予張遼，並任為先鋒。張遼持旗縱兵出擊，人馬疾馳而下有如天雷崩地，胡、漢聯軍根本抵擋不住，瞬間潰散，單于蹋頓於亂軍中被張遼斬於馬下，曹軍大獲全勝，收降軍民人口二十餘萬。這一仗將遼東單于以及遼西、北平諸豪盡皆嚇得破膽，丟下領土、百姓，與袁氏兄弟發足狂奔，直抵遼東，投靠太守公孫康去了。

　　次年，曹操南征劉表，遣張遼、樂進、于禁分別統兵進駐長社（治所在今河南長葛縣東北）、陽翟（治在今河南禹縣）以及潁陰（治在今河南許昌市）三縣，自北至西護衛許昌的安全。大軍臨發前夜，部隊中有人謀反，營中驚亂、火光四起，士卒無不擾動，張遼聞知告訴左右說：「勿動！是不一營盡反，必有造變者，欲以動亂人耳。／不要驚動！此絕非全營士兵一起作亂嘩變，必定是有人從中煽動、造謠，想以此擾亂軍心罷了。」於是傳令軍中：只要不是參與叛變的人一律就地安坐、不准妄動。接著，張遼帶領親兵數十人巍然立於營陣要衝，以此穩住軍心，果然不多時騷動便平定下來，首謀者亦隨之揪出伏法。張遼「不動如山」的鎮定表現可說深得大將之法，這事被羅貫中看上，將其移植至《三國志通俗演義‧卷之十一‧孫仲謀合淝大戰》（毛批本《三國演義‧第五十三回‧孫仲謀大戰張文遠》）情節中，並且來將原本死於病榻之上的太史慈編派到此，讓張遼將計就計設下埋伏將其射殺，串接成張遼與孫權第一次交手的外一章精采插曲──按史實，張遼此時屯兵長社，既未參與赤壁之戰，也不曾來到合肥。

　　另外，據《魏志‧趙儼傳》所載，張遼屯駐長社時，與于禁、樂進二將彼此不和：「諸將任氣，多共不拹」，曹操只得另派司空掾屬主簿趙儼「並參三軍，每事訓喻」，在趙儼多方調和鼎鼐之下，才使得張、于、樂三人「遂相親睦」。

　　赤壁之戰曹操兵敗，建安十四年十二月，有廬江人陳蘭、梅成佔據灊、六安二縣一帶舉起反旗[10]，曹操遣于禁、臧霸等人討伐梅成，張遼督統張郃、牛蓋等將征討陳蘭。梅成一見大軍開到，自料難以抵敵，假意降了于禁，于禁的這支部隊便收兵回去了。于禁前腳一走，梅成又帶著人馬與陳蘭所部合流，轉入灊縣山中。灊山群峰中有座天柱山，山勢陡峭高峻，連緜二十餘里，而且山徑狹窄、道路艱險，只容一人步行勉強得過，陳蘭等人攀緣山壁而上，避入山中。張遼聞訊正欲提兵追擊，底下諸將卻以「兵少道險，難用深入」，直曰不可；張遼卻不這麼認為，說道：“這正是古人所謂的「一與一」，狹路之中對陣，以一人對付一人，只有無畏勇者才能殺出血路、前進取勝啊。[11]”於是進兵至山下安營，養精蓄銳之後，發動猛攻突入山中，一舉擒斬陳、梅二人首級，餘眾盡降。事後曹操與諸將論功行賞，直誇功勞皆在盪寇將軍張遼一人：「登天山，履險峻，以取蘭、成，盪寇功也。」賜增食邑，假符節。

圖片連結：｛中國‧天柱山｝http://2005.etzs.cn/

天柱山冬景，圖片連結：｛連雲港新聞網｝http://www.lygnews.com/www/tour/jpxl/webinfo/2007/08/09/1186622747850584.htm