公元前133年、也就是漢武帝元光二年時，有馬邑人聶翁壹，藉掌管少數民族歸義朝貢的「大行令」王恢之口上奏：「匈奴初和親，親信邊，可誘以利。」（見《史記‧韓長孺列傳》）陳指匈奴剛與漢朝和親，可趁其不防，誘之以利，然後設伏襲擊。皇帝召集群臣廷議，主戰的王恢與不贊成輕起戰端的御史大夫韓安國展開激辯，結果漢武帝鑒於多年來的休養生息使得反擊匈奴的條件業已成熟，決定採行王恢的意見，派聶翁壹前去誘引軍臣單于。果然，單于被聶翁壹說動，親率大軍十餘萬騎開赴武州塞；另一方面，武帝派出精兵二十餘萬（據《漢書》所載則為三十萬眾），埋伏於馬邑一帶的山谷之中。沒想到軍臣單于行至距馬邑百餘里處，見牲畜遍野卻無人放牧，正感可疑時，前方斥候抓到一名漢軍巡防小校，一問之後才知是計，連忙撤軍北還。此次軍事行動，漢朝雖未收效功，卻從此揭開了與匈奴長期征戰的序幕，結束了五十餘年來薄弱的和平關係。
於這次伏擊計畫中佔有舉足輕重地位的聶翁壹，《漢書》稱聶壹，為馬邑當地之「豪帥」，蓋「翁」字乃指老者或長者的意思──顏師古於《漢書‧匈奴傳上》中注云：「翁者，老人之稱也。」；《三國志》記載，張遼本聶壹之後，為「避怨」而變姓為張，但究竟是從張遼才開始改的姓，還是更早之前？以及其「怨」為何？史傳只記下「以怨變姓」寥寥數字，其餘細節不得而知。
《三國演義》中張遼繡像
張遼，字文遠，幷州雁門郡馬邑縣（今山西朔州）人，年輕時曾為郡吏[1]。
東漢末年變亂四起，幷州刺史丁原聽聞張遼武力過人，乃召聘為從事[2]；當時大將軍何進納袁紹之策，號集「四方猛將及諸豪傑」入京共誅亂政之宦官並脅迫主政的太后，丁原被授予武猛都尉官銜，於是命張遼統兵隨赴京都。何進看張遼儀表非凡，便派遣他前往河北之地募兵，得千餘人。後來何進事機泄露遭太監們反擊圍殺，丁原亦亡於愛將呂布之手，張遼帶著剛從河北招募的千餘人馬回到洛陽，只得投靠官拜幷州牧的董卓軍中。沒多久，呂布和董卓鬧翻，將其手刃刺死，張遼率領所部投至呂布麾下，官遷騎都尉[3]。
初平三年（公元192年），呂布與董卓部將李傕相互攻伐，呂布戰敗，張遼隨之東出武關（今陝西丹鳳縣東南約五十公里處），先後投奔袁術、張揚與袁紹。興平元年夏天（公元194年），乘曹操東征陶謙之際，呂布從背後襲取兗州，曹操引軍馳還，雙方攻守互有勝負；次年春天曹操設伏，縱奇兵出擊，呂布大敗而走，張遼跟著呂布逃往徐州，依附劉備。過了一年，改元建安（公元196年），劉備被曹操表奏為鎮東將軍，率軍與袁術相持，呂布乘虛襲擊下邳（徐州州治、今江蘇睢寧西北三十公里），守將張飛敗走，呂布佔有徐州，遂自領州牧職銜（此按《後漢書‧呂布傳》；《魏志‧呂布傳》則作徐州刺史）。
建安二年時，左將軍袁術於壽春自立為帝，建號仲氏，然後以韓胤為使，為子求婚於呂布之女；而曹操這邊為了拉攏呂布，也遣使拜封為左將軍，呂布聽信沛相陳珪的離間之言，追回已至半道之上的嫁女，與袁術決裂，並將韓胤囚送許都。但是到了第二年夏天，反覆無常的呂布又與袁術聯合，和曹操反目，命北地太守張遼同中郎將高順襲攻劉備在沛國的駐軍[4]，劉備不敵敗走；此時泰山屯帥臧霸、孫觀、吳敦、尹禮、昌豨等勢力投至呂布麾下，於是以張遼領魯國相（諸侯王國行政長官、故治即今山東曲阜），與北方泰山郡臧霸等人的部隊聯合，成為抵擋曹操軍勢的最前線，護禦後方的徐州。這一年，張遼二十八歲。
曹操得知夏侯惇的援軍被高順、張遼擊退的消息後，乃親統大軍征討徐州，圍城三月終於擒得呂布，將其絞殺。此時張遼率眾投降，曹操拜為中郎將[5]，並賜爵關內侯，後因數立戰功，再遷為裨將軍。
建安四年冬，曹操軍至官渡，遣劉備督朱靈、路招等將邀擊袁術，半道上便接到袁術病死的消息，劉備藉機命朱靈回師，自己則領兵來至下邳，殺死刺史車冑，重據徐州，附近郡縣多有叛曹依附者，曹操只得又親自引軍東征，劉備不敵潰逃，留下妻子以及大部兵馬，屯守下邳的關羽亦被擒獲後投降。
次月，袁紹派兵襲擊曹操後方，圍東郡太守劉延於白馬，兩個月後曹操回師北指，用聲東擊西之計先引袁紹分兵西應，然後自己輕騎兼行，命張遼、關羽為先鋒，袁紹軍主帥顏良一時無備，教關羽在萬軍之中以迅雷不及掩耳之勢將其刺殺於馬下，遂解白馬之圍。史家在關羽本傳中寫到曹操雖十分壯慕關羽為人，然察其心神似乎並無久留之意，因而囑託張遼前去探問，關羽歎而對曰：「吾極知曹公待我厚，然吾受劉將軍厚恩，誓以共死，不可背之。吾終不留，吾要當立效以報曹公乃去。」張遼將關羽所言據實秉告，曹操由此更加義重關羽。
官渡之戰袁紹兵敗，趁其新破之際，曹操命張遼另率一支部隊前去平定魯國諸縣。也就在這個時候，徐州傳來昌豨叛變歸附劉備的消息──昌豨本是在泰山郡一帶佔地聚眾的頭目，呂布擊破劉備之後，昌豨與臧霸等其他四股勢力加入了呂布所屬；呂布兵敗身死，昌豨等人受曹操厚待，將青州、徐州靠海之瑯琊、東海、北海等三國重劃為城陽、利城、昌慮三郡，全權委任於昌豨等五名將領。此次曹操攻下徐州，趕走了劉備，昌豨便立刻在東海國舉起了反旗。
但是曹操現在最擔心的倒不是昌豨，而是剛接納劉備的袁紹；不過昌豨也不是省油的燈，〈後出師表〉中即有：「曹操五攻昌霸不下」之語──按《資治通鑑》胡三省注：「昌霸，昌豨也。」是以曹操考慮再三之後，決定由夏侯淵為主將、張遼副佐，提領重兵東征，然後將昌豨重重包圍困於城內。
雙方僵持了數月，兵糧耗盡，夏侯淵召開軍議打算撤退，張遼則有不同的看法，起身對夏侯淵說道：“這幾天在巡視圍城的陣勢與營寨時，總見到昌豨兩眼直視屬下，好像有話要說的樣子。再加上最近城中射下的箭矢也愈漸稀少，這必定是昌豨內心有所猶豫，不想全力應戰之故。不如趁此時由我親自前往面見昌豨，或許可以一席話將其誘降反正也說不定哪。”
夏侯淵其實亦不願無功而返，便同意張遼建議，派出使者告訴昌豨：“曹公傳令令下來，遣使張遼代為轉達曹公的意思。”昌豨聞知，果然下得城來和張遼面對面談話，張遼力陳曹操乃英明神武之雄主，「方以德懷四方，先附者受大賞」，只要願意歸附，不僅不計前嫌、還能獲得重賞，終於說動昌豨同意歸降。然後張遼為了表示誠意，乃隻身上三公山[6]，到昌豨安置家屬的屋舍內拜見其妻子，昌豨不想張遼如此真誠大為感動，於是欣然隨張遼一同回師面見曹操。此時曹操正值用兵之際，對於昌豨的叛而復降並不加罪，仍遣回東海官任原職；張遼雖立下大功，不過曹操還是認為這種孤身深入以取得信任的做法實在太過冒險，故意用責備的口吻說道：「此非大將法也。」張遼自然不會不知曹操話中涵義，故而斂容謝（表面「謝罪」實為「謙謝」）道：“以明公之聲威信義遠播四海，我張遼又是奉天子聖旨而來，這就是昌豨必定不敢隨便加害屬下的緣故啊。”這番話語想必曹操聽來還是十分受用的（「聖旨」在曹操聽來也有可能是指自己的旨意）。
注釋
[1]郡吏，郡守屬吏。自秦、漢乃至三國，郡守以下之丞、長史、都衛以及功曹、五官、督郵、主簿等掾史，通稱為郡吏。
[2]官名。漢、魏時州刺史或州牧的下屬官吏，亦稱從事史。由於分管職責的不同，而有別駕從事、治中從事、功曹從事、簿曹從事、兵曹從事、部郡國從事等之分，東吳、蜀漢均設有此官。按張遼所任之從事官，應為兵曹從事。
[3]官名，屬光祿勳，秩比二千石，監掌羽林騎。
[4]《資治通鑑‧獻帝建安三年》：「（呂布）遣其中郎將高順及北地太守鴈門張遼攻劉備」，胡三省注曰：「（呂）布以（張）遼遙領北地太守耳。」北地郡，東漢時置，屬涼州；但漢末時失其地，而寄治所於馮翊郡界。王先謙《續漢志集解‧卷二十三上‧涼州‧北地郡》曰：
漢末郡寄寓馮翊，舊郡廢，三國魏同。永和六年，徙安定居扶風，北地居馮翊，見《順帝紀》。北地郡漢末失土，寄寓馮翊，置富平縣，見《宋書‧傅弘之傳》。魏文帝分馮翊之祋祤置北地郡，見《地形志》。北地郡自永和六年以後不復歸舊土也。
據《蜀志‧先主傳》，於此之前，呂布率軍將屯兵於小沛的劉備趕走，劉備敗投曹操後，曹操命其前往沛國收聚逃散的士卒，並再給軍糧與士兵，約擊呂布。是以呂布決定與曹操對抗，第一件事就是攻打曹操的馬前卒劉備。
沛國，西漢時為沛郡，東漢改為國，為豫州轄下郡級之行政單位。小沛，沛縣之別稱，漢高帝劉邦之故鄉，西漢時屬沛郡，東漢時屬沛國，因郡、國的守、相治所在相縣（今安徽濉溪西北），因此稱沛縣作小沛。
[5]秦時置中郎將統領供事禁中的郎中，即中郎。漢武帝時置五官、左、右中郎將，以五官中郎將主中郎，左中郎將主謁者，右中郎將主侍郎，秩皆比二千石，隸屬於光祿勳，侍從天子、隨行護駕。東漢時，中郎將職掌主要為協助光祿勳考課察舉三署諸郎，已非天子宿衛近臣；東漢又遣中郎將領兵，遂增設東、西、南、北四中郎將以征討四方為職任，性質類似於將軍。
[6]山名，故地在今山東郯城東北。顧祖禹《讀史方輿紀要‧卷三十三‧山東四‧郯城縣‧羽山》：「又縣有三公山。後漢建安六年，曹操遣夏侯淵、張遼，圍太山（泰山）屯帥昌豨於東海，遼說豨降，單身上三公山拜豨妻子。或以為即馬陵山也。」同書載馬陵山在郯城縣縣東十五里處。
另按，東漢徐州東海郡其郡治即為郯縣（故治在今山東郯城西南），可知夏侯淵、張遼圍城所在當在郯縣縣城；而昌豨為了妻子家小的安全，特地將其安置在城外三公山上藏匿，派遣親兵護衛。