Lecces gamle borg ligger i den østlige udkant af den gamle bydel. Borgen blev anlagt i middelalderen, men er i dag opkaldt efter den tysk-romerske kejser Karl V, der fra 1539 udbyggede borgen betydeligt til det resultat, man kan se i dag.
Karl V lod den tidligere borg og nogle andre bygninger rive ned for at gøre plads til en moderne borg med samtidens militærteknik og -arkitektur. Generalingeniøren Gian Giacomo dell’Acaja fra Kongeriget Napoli stod i spidsen for anlægget. Borgen blev anlagt med tykke mure og voldgrave, der dog blev fyldt op i 1872.
Borgen var militært område indtil 1979, og i 1983 overgik Castello di Lecce til at være byens ejendom. I dag bliver det store anlæg med de høje mure og solide hjørnebastioner løbende benyttet til forskellige kulturarrangementer. Man kan derfor godt se nærmere på den gamle militærarkitektur.