Prošlost Sremske Mitrovice i njene bliže okoline, doseže do prvih početaka ljudskog života u regionu Srema i Panonije, ili oko 7000 godina pre naše ere. Grad je nekoliko puta iz osnova menjao ne samo ime, već i fizionomiju. Od drvenog ilirsko keltsko naselja preko antičkog grada i prestonice, srednjovekovne varoši sa mnogo gospodara do savremenog industrijskog grada u punom naponu jedne nove istorije.
Rimljani osvajaju Sirmijum krajem I veka stare ere. Grad raste velikom brzinom i do sredine III veka Sirmijum postaje ekonomsko središte čitave Panonije. U njemu ili u okolini rođeni su carevi Decije Trajan, Aurelijan, Prob i Maksimilijan, svi romanizovani Iliri domoroci, sinovi sreće, koji su do carskog prestola stigli svojim izvanrednim vojničkim sposobnostima.
Potvrdu svog izuzetnog značaja u okviru Rimske imperije Sirmijum dobija u vreme tetrarhije kada postaje jedna od četiri prestonice carstva, grad sa velikom kovnicom novca, raskošna carska palata, sa vodovodom i termama, hipodromom, pozorištem i anfiteatrom, forumom, mnogobrojnim radionicama, javnim kupatilima, hramovima, kao i mnoštvom javnih palata i raskošnih vila.
Grad je bio metropola Panonije i Ilirika, ranohrišćanski centar sa brojnim episkopima i mučenicima.
Grad se predao Avarima 582.godine i to je bio kraj Slavne i mnogoljudne majke gradova, kako je Sirmijum nazivao najpoznatiji istoričar IV veka, Amijan Marcelin.
U IX veku Srem se nalazi u sastavu Bugarske i uloga Sirmijuma ponovo raste, jer je u njemu, pošto su Bugari primili hrišćanstvo, osnovana episkopija. Dolaskom Mađara Sirmijumom naizmenično gospodare Vizantinci i Mađari, sve do 1180. godine kad vizantijska vlast zauvek nestaje s ovog tla, a od nekad slavnog grada ostaju samo ruševine.
Na ruševinama Sirmijuma, nikao je novi srednjovekovni grad Civitas Sancti Demetrii, tj. Grad Svetog Dimitrija ili na srpskom Dimitrovica, prema Sv. Dimitriju zaštitniku grada i istoimenom manastiru oko koga je novo naselje i počelo da se širi.
Grad je posle čestih napada turaka pao pod osmanlijsku vlast 1526. godine. Bio je poznat pod nazivom „Šeher Mitrovica“ i imao je muslimansku većinu. Tokom ovog razdoblja od vek i po grad je doživeo znatan razvoj i dobio potpuno orijentalne crte, koje su prepoznatljive i dan danas. U ovom periodu brojno stanovništvo iz centralne Srbije je bežalo od turskog zuluma u Srem i tu se nastanjivalo.
Za vreme Hazburške monarhije, grad je ponovo potpuno razoren. U ovom periodu njegov razvoj potpuno stagnira. Doseljavaju se Mađari, Nemci, Rusini, Hrvati.
Krajem 19 veka došlo je do smirivanja granice na Savi, a novi sused je bila mala i nerazvijena Srbija Ovo je uticalo na ukidanje Vojne krajine i vladavine gradom od strane vojnih vlasti i dobijanja statusa slobodnog kraljevskog grada 1881. godine. Prvi gradonačelnik je bio Ćira Plemeniti Milekić. Grad ponovo počinje da se razvija i dostiže cifru od desethiljada stanovnika na prelasku u 20 vek.
Sremska Mitrovica je 1918. godine priključena Kraljevini Srba, Hrvata i Slovenaca, kasnije Kraljevina Jugoslavija, a od 1941—1944. grad je nosio ime Hrvatska Mitrovica i nalazio se u sastavu Nezavisne Drževe Hrvatske
Leto 1942 je ponovo donelo stradanja u Sremsku Mitrovicu. Ustaška policijsko kaznena ekspedicija pod komandom Viktora Tomića je u samo nekoliko nedelja u avgustu i septembru streljala preko 6.000 nevinih ljudi.
Grad je oslobođen 1.novembra 1944. godine. Taj datum se uzima kao početak razvoja grada u savremenom dobu.