W 1656 roku miasto ponosi klęskę i zostaje zdobyte przez Tatarów i wojska koronne z pospolitym ruszeniem mazowieckim. Po tych zniszczeniach miasto jednak nie daje za wygraną i podnosi się z ruin. W roku 1684 liczy 48 całych domów, 44 pół domów i 30 na przedmieściach, a liczba mieszkańców osiąga 800 osób. Niestety ten korzystny okres dla miasta przerywa epidemia dżumy w latach 1709- 1711. W Pasymiu zmarło ponad 200 osób. Później miasto powoli zaludnia się na nowo. Rok 1746 przynosi kolejny pożar miasta, spłonęło sporo domów, warsztatów rzemieślniczych i kramów.

W styczniu 1807 r. do miasta przybył Cesarz Napoleon. Mieszkańcy miasta odczuwają bardzo boleśnie pobyt wojsk francuskich. Wojna Napoleona przyniosła zniszczenie, biedę, która dotknęła wszystkich. W tym samym czasie pojawiła się jeszcze epidemia cholery w październiku 1831 r. Pomimo trudnej sytuacji gospodarczej Pasym po raz kolejny podnosi się z upadku. Nastąpiło rozbudowanie miasta i powstały nowe przedmieścia Elbląskie i Królewieckie.

W latach 1854 – 55 wybudowano ratusz w stylu neogotyckim, który najprawdopodobniej był wzorowany na zamku w Babelsbergu, z wieżą w stylu renesansowym wg projektu Karla Junler. W roku 1883 miasto otworzyło połączenie kolejowe z Olsztynem i Szczytnem. gimnazjum. Postępuje ożywienie gospodarcze.

Późniejsze spokojne życie miasta zakłóciła I – sza wojna światowa. 21 sierpnia 1914 roku do Pasymia weszli Rosjanie , a po dwóch dniach opuścili je – rabując, a mieszkańcy ukryli się w lesie. Na frontach tej wojny poległo 252 żołnierzy z Pasymia i okolic. Rok 1918 przyniósł zakończenie wojny i klęskę Niemiec. Po zakończeniu działań wojennych władze miejskie by zażegnać kryzys gospodarczy podjęły wiele nowych inwestycji. W roku 1922 wybudowano pierwszą elektrownię. Później miasto postawiło na rozwój turystyki i wypoczynku. Wybudowano pierwszy ośrodek sportowy, ośrodek sportów wodnych nad jeziorem Kalwa i strzelnicę sportową. W 1927 roku wybudowano pierwszy pensjonat ze stołówką i pokojami noclegowymi. W Pasymiu istniało 71 zakładów rzemieślniczych, 68 sklepów, były tartaki, gorzelnia, młyn parowy, cegielnia, elektrownia, wodociąg, browar, rzeźnia, mleczarnia, a liczba ludności przekroczyła 2 tysiące.

Nadeszła druga wojna światowa 1939 roku, której skutki Pasym odczuł dopiero w 1945 r. Rosjanie zajęli nie broniony Pasym. Miasto zostało spalone. Polskie władze w Pasymiu pojawiły się dopiero 15. 05. 1945 r. wraz z mgr Edmundem Staniszewskim, który został powołany na burmistrza Pasymia. Pojawiły się też pierwsze prywatne sklepy: masarskie, spożywcze i piekarnia. W tym samym roku otwarto też pierwszą szkołę powszechną, nad którą czuwał Henryk Krzykowski. II wojna światowa nie była łaskawa dla Pasymia. Najstarsze miasto na Mazurach zostało wyludnione po wojnie. Później jednak zaczęło powoli przybywać mieszkańców. Niektórzy wracali z przymusowej ewakuacji, pojawiała się też ludność napływowa z Mazowsza, Kurpi. W latach 1945 – 1949 zostały uruchomione zakłady przemysłowe: młyn, tartak, wodociągi, mleczarnia, cegielnia, przetwórnia owoców i warzyw, zespół rybacki. Dlatego zaczął się prężnie rozwijać handel, rzemiosło, usługi i oświata. 15 maja 1945 roku do Pasymia przybywa powołany na Burmistrza Miasta mgr Edmund Staniszewski. Z dniem 1 czerwca 1946 roku Pasym zostaje mianowany stolicą gminy, w skład której wchodziło 19 wsi.

Na początku 1948 roku powstała Gminna Spółdzielnia „Samopomoc Chłopska”, odpowiedzialna m.in. za zagospodarowanie rolniczych odłogów W latach siedemdziesiątych Pasym wykorzystuje zalety przyrodnicze: lasy, jeziora i klimat na organizację turystyki. Nad brzegami jezior: Kalwa, Leleskiego i Sasku Wielkiego powstają liczne ośrodki wypoczynkowe.