秦始皇二十六年(前221)，秦消滅六國，統一中國。但嶺南和閩浙一帶的百越尚未歸順。二十八年(公元前219年)，始皇又發動了南下平定百越的戰爭。
據西漢淮南王劉安《淮南子·人間訓》記載：“(始皇)乃使尉屠睢發卒五十萬為五軍，一軍塞鐔城(今湖南靖縣境)之嶺，一軍守九嶷(今湖南江華境)之塞，一軍處番禺(今廣州)之都，一軍守南野(今江西南康境)之界，一軍結餘幹(今江西餘幹境)之水，三年不解甲弛弩”。
餘幹“當吳、楚之交會”，“地當閩越襟領也，且北距大江，西隔重湖，兵爭出入，常為孔道”，古代是戰略要地。 《史記》載楚昭王時，吳由此伐楚取番。漢建元六年，淮南王安上書：“越人欲為變，必先由余幹界中積食糧乃入，伐材治船。”晉末盧循之亂，鄱陽太守虞丘經餘幹進襲豫章(今南昌)，斷絕盧循糧道，結果盧循敗亡。隋末，操師乞以鄱陽襲據豫章，林士弘失豫章，退保餘幹，以伺豫章之隙。明初，太祖朱元璋攻克江州，饒州守將吳宏歸附，朱元璋就立即親臨饒州，並任命吳宏繼續駐守饒州，正是認識到該地“險阻可憑，足為要會” 。
據《餘幹縣志》，“餘乾之水”，指當時潼湖、族湖、錦湖三個水口。
潼湖，在今餘幹白馬橋鄉潼口村一帶，臨信江。族湖，在今餘幹瑞洪神口與三塘鄉洪崖山一帶，古稱西湖口，臨鄱陽湖。相傳楚王負芻二年(公元前226年)，東南一帶水患不斷，睢浩奏請祭祀江神。楚王准奏，並特遣禮官制以金箕玉斗、馬牛白羊至鄱陽湖邊致祭，但無濟於事。當地一老翁告訴禮官：“若祭當就湖之祖”，禮官忙問：“祖在何處?”老翁回答：“幹越西湖口。”於是禮官又攜帶禮品至西湖口作亭致祭，不久水退。亭名族湖亭，故又稱“族湖”。錦湖，在今萬年(萬年縣城有錦湖公園)，當時屬餘幹。
在餘乾水口駐紮的秦軍經過一番休整之後，溯餘水(今信江)而上，先封住了閩越人出入。然後再越武夷山，直入今福建境內，一路勢如破竹，征服了東甌(今浙江溫州)和閩越(今福建)，並設置閩中郡。但其它幾路大軍在南越和西甌卻遇到頑強抵抗。因糧餉接濟不上，秦軍中途被迫停止進攻。於是“使監祿鑿渠運河”，令史祿開鑿靈渠，溝通湘江和漓江。然後大軍順漓江、賀江而下。開鑿靈渠，疏通糧道後，越人退闢叢林，與秦軍周旋，夜襲秦營，他們利用當地山青林密、河谷縱橫的地形，不斷襲擊秦軍，秦軍“三年不解甲弛弩”，極度疲憊。 《史記·秦始皇本紀》：“越人攻秦人，大破之，殺尉屠睢，伏尸流血數十萬，乃發謫戍以備之。”屠睢一死，軍心渙散，越人趁機反攻，秦軍又退至五嶺之線(大庾、臨賀、始安、桂陽、揭陽五嶺)。秦始皇繼續增派兵將，直至始皇三十三年(公元前214年)終於平定百越，設立桂林、象郡、南海三郡。為了開發嶺南,秦始皇又命令攻占嶺南的軍人，隨軍的被秦所亡六國的貴族、官吏、賈人和一萬五千無夫之女,就地屯墾，在嶺南安家落戶，這是後話。
