高祖三年(公元前204年) 赵佗建立南越国,自称南越武王。市境以阳山关为界,关以南为南越国所据,关以北属中原政权西汉管辖。
  文帝年间(公元前179~164年) 分长沙郡南境置桂阳郡,领桂阳(今连州、连南、连山地)等7县。
  元鼎五年(公元前112年) 南越国丞相吕嘉反汉。汉派伏波将军路博德率兵出桂阳、下湟水(连江);楼船将军杨仆率兵出豫章、下浈水(北江),与南越军战斗相持。
  六年 杨仆率精兵攻陷寻峡(大庙峡)、破石门,与路博德会师番禺城(今广州)。
  是年冬 武帝平定南越后,在市境保留桂阳县,新置中宿县(原清远县前身)、阳山县、含洭县(今英德西部)和浈阳县(今英德中部、东部和翁源县地)。桂阳、阳山、含洭、浈阳4县属桂阳郡,中宿县属南海郡。