南越国不过是汉帝国南方小小的一隅，然而在刘恒眼中，它却成为了自己树立威望的道具。谁都清楚，南越人无意挑衅汉朝，汉朝人更不是灭不了南越。但不巧的是，这个小国家却和帝王的名誉挂上了钩。刘恒急需通过招降南越，来树立自己的威名。
蔡东藩有首《赞汉文帝怀柔赵佗》诗，诗云：“武力何如文教优，御夷有道在怀柔。诏书一纸蛮王拜，伏地甘心五体投。”（《前汉演义》第四十七回）诗的内容很白话，讲的是南越王赵佗向刘恒称臣，然而这首诗背后却有一个不简单的故事。
秦朝统一六国之后紧接着平定了杨越地区，设置了桂林郡、南海郡和象郡。这三个郡荒凉落后，对当时的人而言，绝对算得上是穷乡僻壤，因而成为了秦朝罪犯、官员的流放之地。流放至此的罪犯们与越人杂居，生活了十三年。
秦朝末年，南海郡郡尉任嚣病重。郡尉本来是郡守的副职，掌军事，但是由于南海郡蛮夷太多，民风彪悍，加上平定不久，所以一直是让郡尉当一把手，由军事长官将军政大权“一把抓”。
任嚣病重期间念及自己时日无多，知道此时天下大乱，因而找来了手下心腹龙川县令赵佗，对他说：“中原大乱，群雄逐鹿，不知道什么时候能安宁下来。现在已经有不少人脱离秦朝统治而自立了。我本来打算派兵切断和中原的联系，等待时机大展雄图，然而如今我病重了，保卫不了咱们这个地方。番禺靠山面海，地域广阔，还有不少汉人智者可以帮我们，弄好了还可自立为一方之主，建立国家。郡里的官吏都不可信，我才叫你来，将这些事情托付给你的。”说完，任嚣写了一张委任状，让赵佗代理南海郡尉。
没过多久任嚣就撒手人寰，他死后，赵佗立刻下令派重兵扼守横浦关、阳山关、湟溪关三处重要关隘，同时斩杀了过去秦朝在当地的一些官吏，全部安插了自己的亲信。
秦朝灭亡之后，赵佗吞并了桂林郡和象郡，关起门来当地头蛇，自立为南越武王，称霸一方。
汉高祖平定天下之时，按照《史记·南越列传》的说法，刘邦不愿意再让百姓经受战乱，所以才没有征讨南越国。然而，从刘邦在高祖十一年（公元前196年）才派遣陆贾出使南越国来看，刘邦在立国初期不处理南越国的问题主要是因为两点。
第一，刘邦压根没有重视南越国立国的问题。“布衣天子”听起来很亲民，但总免不了会有些目光短浅的毛病。刘邦的短见及其危机意识的缺乏，最终直接导致了赵佗势力的坐大。
第二，此时的国内内乱繁多。政治斗争和平叛早已经让刘邦忙得不可开交，加之北边还有匈奴的威胁，他哪里顾得上南边的蛮夷呢？而且刘邦在统一天下后还解散了许多军队，士兵数量大减，赵佗在南方僻远之地建国，刘邦实在无力分兵前去征讨。
然而问题总归是要解决的，陆贾的出使成功说服了赵佗归顺。刘邦与赵佗交换了符节，要求赵佗在南越地区处理好民族关系、同长沙国政府积极往来、和当时的长沙王吴芮搞好关系。
刘邦能够答应这样没什么“油水”的议和条件，无疑是展现出了一种求和的姿态。刘邦到最后还是没能力对南越动武，可见汉初整个国家在饱经战乱后国势的衰微。好在南越民风淳朴，少数民族嘛，剽悍是剽悍，但那是人家性子直，反过来讲，就是讲义气好说话知恩图报懂得大义，所以南越才会同意归顺。
然而，归顺的行为终究是南越人主动的，刘邦只是抛出了橄榄枝，赵佗原本可以不接。这就意味着，在南越人的心中，他们自己都一直处于优势地位，习惯上还是觉得自己比汉朝人厉害一等。所以在吕后时期，一遇到汉朝在铁器方面的封锁，他们就反叛了，而且认为是长沙王吴右（吴芮曾孙）为了满足自己扩张疆域的欲求而挑唆吕后做的。