玉门关的设立,始自西汉武帝时,距今已有2千多年的历史。秦汉以来,好战的匈奴对汉民族威胁很大。汉初,匈奴东败东胡,西逐大月氏,占据河西,并以河西为基地,屡犯汉境。汉王朝开始曾对匈奴采取和亲政策,希图换取暂时的安宁。汉武帝时,放弃了和亲政策,对匈奴发动了大规模的军事反击。元狩二年,骠骑将军霍去病率兵西征,沉重打击了匈奴右部。同年,汉分河西为武威、酒泉两郡。元鼎六年,又增设张掖、敦煌两郡,同时建玉门关和阳关。从此,玉门关和阳关就成为西汉王朝设在河西走廊西部的重要关隘。
西归汉以后,内地通往西域及欧洲诸国的通路打开了,中国特有的丝绸源源不断运往西方,西方的音乐、宗教以及葡萄、石榴、核桃,苜蓿等也从此传入中国。人们习惯把东起长安,联络亚、欧、非3大洲,遥遥数千里的交通大道称为"丝绸之路"。这条路自敦煌以西分为两路,一条出敦煌向西北经玉门关、鄯善北行,叫天山北路;一条出敦煌向西南经阳关、安南坝,沿塔克拉玛干大沙漠南行,叫天山南路。因此,玉门关和阳关也就成为丝绸之路上通往西方的重要关卡,是西行商旅和文臣武将的重要停息站。当时玉门关,驼铃悠悠,人喊马嘶,商队络绎,使者往来,一派繁荣景象。