Svendborg var allerede i Middelalderen en vigtig handels- og håndværksby, bygget op omkring byens hovederhverv, søfart. I 1229 blev byen nævnt for første gang, da Valdemar Sejr i et brev til sin søn Valdemar den Unge godkendte at sønnen måtte give Svendborg og det sydlige Fyn som gave til sin hustru Prinsesse Eleonora. Valdemar Sejrs søn Hertug Abel, (den senere kong Abel af Danmark) besatte i 1247 byen og lod den befæste, hvorefter Erik Plovpenning indtog byen og afbrændte den. Seks år senere den 25. februar 1253 fik Svendborg sine købstadsrettigheder, udstedt af Christoffer 1. og blev herefter en vigtig købstad med gode adgangsforhold til havet. Det var dog ikke fred, der prægede Svendborg de følgende år. I 1289 belejrede Marsk Stig købstaden, og året efter i 1290 hærgede den norske konge Erik Præstehader byen med plyndringer og nedbrænding af adskillige kvarterer.
De følgende 25 år var der fred indtil Hertug Christoffer Fyn (den senere kong Christoffer 2.) sent i efteråret 1316 invaderede og plyndrede Svendborg. Han var Erik Menveds oprørske bror og var gået i ledtog med tyske tropper under angrebet. Godt 30 år senere i 1348 var det en usynlig fjende der hærgede byen, nemlig Pesten også kaldet Den sorte død. Det kostede en stor del af Svendborgs befolkning livet.
Lidt øst for bykernen findes i dag et parkanlæg ved navn Caroline Amalie Lund og her eksisterede en borg ved navn Ørkild Slot frem til 1500-tallet. Men under Grevens Fejde i 1534 indtog oprørske styrker, ledet af Grev Christoffer af Oldenburg, byen, støttet af flere af det lokale byråds medlemmer, og Ørkild Slot, der agerede bispestolens fæstning, blev indtaget og brændt ned. I dag kan man endnu se resterne af borgens voldsted i parkanlægget.
Anne Hvides GårdI 1535 ca. ét år efter ødelæggelsen, lykkedes det Johan Rantzau i Slaget ved Øksnebjerg at besejre oprørerne, men Svendborg blev efterfølgende plyndret af Rantzaus landsknægte. Fejdens sejrherre Christian 3. blev hyldet i Odense senere samme sommer. Efter Grevens Fejde begyndte byen langsomt at komme på fode igen, ikke mindst takket være en øget handel med fødevareprodukter. I denne fremgangsrige periode blev byens ældste verdslige bygning Anne Hvides Gård opført i 1560 af adelsfruen Anne Hvide, der var blevet enke. Hun havde mistet sin mand Jesper Friis, godsejer på Rødkilde, fire år tidligere. Byens fremgang varede lige til året 1602, hvor pesten endnu engang vendte tilbage.
I 1600-tallet hærgede Svenskekrigene det danske rige, og heller ikke Svendborg gik ram forbi. Tværtimod gik det meget hårdt ud over byen, idet mere end 70 huse og gårde blev forladt af beboerne, mens en stor del af købstaden blev lagt i ruiner. Udvandringen fra Svendborg forsatte de næste årtier og i 1672 havde byen kun 1.000 indbyggere. Det blev dog langsomt bedre i 1700-tallet selvom købstaden ramtes af storbrande i 1749 og 1769. Først i 1800-tallet kom der endelig fremgang for den sydfynske by.
