Povijest urbane slike Cavtata još od prapovijesnih vremena u sebi sadrži naseobinsku ili gradsku strukturu omeđenu i čuvanu zidinama. Izuzetak je razdoblje ranog srednjeg vijeka o kojemu gotovo da nemamo nikakvih predodžbi. U 13. su stoljeću Cavtat i Obod bili u sastavu dubrovačke Astareje, najstarijeg teritorija uz sam grad, no izgubljeni su 1302. godine.
Početkom 14. stoljeća istočni dio Konavala pripada vojvodi Sandalju Hraniću dok je zapadni u rukama braće Petra i Radoslava Pavlovića. Dubrovačka Republika 1419. godine kupuje istočni dio Konavala, a 1426. godine uspijeva otkupiti i zapadni dio te tako u svoj teritorij uključiti davno izgubljene Cavtat i Obod.
detalj, 1837.
Nedugo nakon što su od Radoslava Pavlovića otkupili zapadni dio Konavala, u Vijeću se počinje razmatrati kako utvrditi Cavtat. Izabrana su dva plemića koja bi trebala ispitati je li teren pogodan za opkopavanje jarka kako bi se poluotok pretvorio u otok. Na temelju njihova izvješća i izvješća trojice koja su izabrana kako bi točno odredili način iskopavanja i zidanja jarka, početkom 1430. godine započeli su radovi na izgradnji zidina. Konavoski knez trebao je svaka tri dana slati po 50 Konavljana od 16 do 60 godina, koji bi se izmjenjivali pri iskopu jarka. Budući da je zaključeno da se zid gradi za potrebe stanovnika, dakle za vlastite potrebe, radnici nisu bili plaćeni.
Radoslav Pavlović, kajući se zbog prodaje zemlje, buni se protiv utvrđivanja Cavtata, a uskoro dolazi i do oružanog sukoba. Uza sve nedaće, radovi su nastavljeni. Godine 1441., nakon neposredne prijetnje sultana Murata II., Cavtat se počinje jače naoružavati. Posjećuje ga i Onofrio della Cava kako bi pomogao pri izradi izvještaja i nacrta za konačno dovršenje utvrđenja.
Nakon što kratkotrajno prolazi opasnost od Osmanlija, 1451. godine dolazi do razmirica s hercegom Stjepanom Vukčićem Kosačom, a kasnije i do rata. Kad je herceg Stjepan Vukčić Kosača napustio ovo područje, iza sebe je ostavio srušene zidine i kuće. Krajem 1451. godine odlučeno je da će se novi zid graditi na temeljima starog, a sagradit će se i tri kule, no bit će na istočnoj strani oko šezdesetak metara kraći od prijašnjeg.
Godine 1452. izabran je i prvi kapetan Cavtata. U početku je kapetan imao samo vojnu funkciju, a kasnije preuzima i upravnu vlast, što je ostalo sve do pada Republike. 1454. godine u Vijeću umoljenih odlučeno je da se zidna krila, koja su se već počela graditi, produže još više u more, tako da se u grad može ući samo kroz vrata, a 1468. godine gradi se još jedna kula, uz sjeveroistočno zidno krilo, nešto veća od ostalih. U dvjema središnjim kulama bile su smještene tamnica i cisterna. Kroz kulu, najviše ispruženu na zapad, blizu Dvora, išla su dvostruka gradska vrata, vanjska kroz istočni zid kule, a unutrašnja kroz sjeverni.
Na ravnim zidnim plohama zidina bile su brojne puškarnice, i to dvije vrste, one jednostavnih uskih otvora i puškarnice na ključanicu. Tijekom 16. i 17. stoljeća zaključci Vijeća koji se tiču zidina odnose se uglavnom na neke manje popravke ili naoružanje. Zanimljivo je da 1579. godine Bernardo Rusko Pucić oporučno ostavlja novac za gradnju natkritog prostora, to jest trijema, gdje bi se mogli skloniti Konavljani i putnici koji čekaju da se otvore gradska vrata. Trebao je biti dug 20 lakata, naslonjen na zidine od kule u kojoj je bio zatvor do vrata.
Na austrijskim katastarskim kartama izrađenim 1837. godine vidljiv je cijeli potez zidina s kulama. U to vrijeme još su nezaklonjene kućama, vidljiva su dva zidna krila prema moru i četiri kule. Izgubivši svoju prvotnu funkciju i dolaskom novog vremena koje nije imalo razumijevanja za starine, zidine doživljavaju potpunu degradaciju.
Godine 1890. Općina Cavtat je u svrhu poljepšavanja mjesta kupila, a 1894. godine srušila gradska vrata, dio zidina i zidno krilo koje se pružalo prema moru. Od 1909. do 1932. godine zidine se rasprodavaju privatnim osobama.
Kao spomenik kulture, primjer dubrovačke fortifikacijske arhitekture toga vremena, zaštićene su 1953. godine.