西元前206年，漢高祖劉邦派遣陸賈來廣州向南越王趙佗勸降，陸賈就在今天的西場駐紮，開始經營這一名勝。他在駐地附近，沿溪灣經營種植荔枝，開闢蓮塘，這便是荔枝灣的由來。屈大均《廣東新語》：“陸賈初至南越，築城於番禺西滸以待佗，名曰陸賈城，其遺址在西郊十裡，地名西場。”“予之生，實在其地。所居前對龜峰，後枕花田，白鵝潭吞吐其西，白雲山盤旋其東，園曰茂林，有荔枝灣、花塢、藕塘之饒，蓋陸賈之所經營也。”其後經過2000多年人工與天工的巧妙結合，成為廣州著名的景區。
由於灣內河湧縱橫，主要溪流兩岸，種滿荔枝樹，多池塘、菜畦，便有了著名的特產“泮塘五秀”——蓮藕、菱角、茭白（即筊筍）、荸薺（俗稱馬蹄）、茨菇。每當盛夏，紅荔白荷，交相輝映，香隨風送，沁人心脾。因此歷代多有大官钜賈在此興建園林。在唐代，建有著名的“荔園”。黃佛頤《廣州城坊志》引譚宗浚說：當年唐荔園建在“半塘（今作泮塘）之墨硯洲上”。南漢建了皇家園林“昌華苑”，變成南漢王劉氏王朝的禦花園，後人稱“劉王花塢”。其所經營的宮苑，範圍很廣，西起荔枝灣，北至流花橋，其中還有芳華園和顯德園等，其中心花園（花塢）就在荔枝灣。今泮溪酒家對面的雲津閣畔，曾有“古之花塢”的石牌坊。荔熟時，皇帝便在花塢裡大擺禦宴與後宮享樂，飲酒啖荔，名曰“紅雲宴”。阮元《廣東通志》引黃佐說：“昌華苑，一名顯德園，亦偽劉故址也，在荔枝灣。”
宋滅南漢，昌華苑宮殿被焚毀殆盡，但西園地區（今泮塘、荔枝灣一帶）並沒有變成一片廢墟，在整個宋代，荔枝灣仍然是風景區。元代，荔枝灣作為“禦果園”，除遍種荔枝外，還栽種裡木樹（檸檬樹）800多株。屈大均《廣東新語》：“元時，於廣州荔枝灣作禦果園，栽種裡木樹，大小八百株，以作渴水。吳萊詩：廣州園官進渴水，天風下熟宜檬子，百花釀作甘露漿，南園烹成赤龍髓。”就是說裡木樹成熟後榨汁煎糖，製成舍裡別（蒙古語，即解渴水）進貢，深得元世祖忽必烈和元成宗鐵穆耳喜愛。
至明代，荔枝灣不但千樹荔紅，白荷玉立，五秀飄香，更由於水系不斷拓展，昔日橫亙蜿蜒的小溪小河已成縱橫交錯的河湧網脈，河湧直通往白鵝潭江面，漁民們白天出河捕魚，晚上回灣停泊。水鄉澤國的風情更為荔枝灣增添另一番景致。“荔灣漁唱”成為明代羊城八景之一。
清代至民國抗戰前，荔枝灣達到了最鼎盛高峰。無論是荔枝種類、覆蓋面積，都達到了歷代之最；另一方面，荔枝灣人氣之旺也達到極致，文人騷客對酒當歌、吟詩作畫，富賈钜賈則在此圈地，建起了一座座別墅。“卓轉清溪宛若耶，樓船掩映樹周遮。一灣荷葉碧于水，兩岸荔枝紅似花。”八橋畫舫，楊柳輕拂，碧波蕩漾，輕舟飄泛。夏至蟬聲如潮，叢叢荔枝含丹怒放。唐荔園為清代道光初年丘熙在西關構築的一處著名的園林，它與後來建起的海山仙館、小田園、景蘇園合稱為清代西關“四大名園”。稍後，還有葉氏小田園、停讕堂水榭，以後從海山仙館的舊址上新建的園林，先後有彭光湛的彭園和陳花邨的荔香園，附近又有黃氏的“小畫舫齋”等名園別墅。
陳濟棠主粵時期，荔枝灣甚為繁盛。原有的荔枝灣的灣流很長，民初以後，遊荔枝灣的遊客，都是在多寶橋下（即今之廣州市第二人民醫院右側）雇艇“遊河”，畫舫、舢板都集中這裡接客。遊荔枝灣的畫舫，都是劃到江面去，這附近有西郊、海角紅樓兩個泳場，江面有酒菜艇，有販賣海蝦、海鮮的小艇，還出租唱機唱片、叫賣香煙、糖果餅食的，有賣唱的，有賣荔枝和生果的。都集中在這大段的江面上。