Na początku XIII wieku Krzyżacy po podbiciu ziemi Galindów, ludu zamieszkującego na terenie dzisiejszego Węgorzewa, wznieśli w 1335 r. drewniany zamek obronny – Angerburg.
Po spaleniu zamku przez Litwinów w 1365 r. przystąpiono w końcu XIV wieku do odbudowy zamku murowanego, który stał się częścią wschodniego łańcucha twierdz obronnych Zakonu. Urzędował tu prokurator podległy konturowi w Królewcu. Zamek składa się z trzech skrzydeł o różnych długościach. Wszystkie skrzydła są ustawione do siebie pod kątem ostrym. Północne skrzydło (62 m) ciągnie się wzdłuż ulicy, zachodnie najdłuższe przylega do nabrzeży portowych (72 m) i najkrótsze południowe tuż nad Węgorapą. Pomiędzy skrzydłem zachodnim a południowym znajduje się cylindryczna wieżyczka schodowa. Dziedziniec zamku jest otwarty w kierunku rzeki, oddzielony od niej kamienno-ceglanym murem parkowym. W latach 70. XV wieku, po powstaniu antykrzyżackim i wojnie trzynastoletniej, Zakon oddał zamek Węgorzewski w zastaw za długi braciom Hansowi i Anzelmowi von Tettau’om. Po 1525 r. zamek stał się siedzibą starostów książęcych. W 1656 r. Węgorzewo zniszczyły wojska tatarskie, ucierpiał też zamek, gdyż w pierwszej połowie XVIII wieku przebudowano go w stylu barokowym.
W początkach XIX wieku zamek chylił się ku upadkowi, bowiem ulegał dewastacji w trakcie wojen napoleońskich. Jednak od połowy XIX wieku przebudowano wnętrza, przeznaczając je na sąd i więzienie. W roku 1945 został spalony, ocalały tylko mury zewnętrzne. W latach 70. rozpoczęto odbudowę. W 1986 r. oddano do użytku jedno skrzydło, w którym swoją siedzibę miał Urząd Stanu Cywilnego, Rada Miejska, Miejska Biblioteka Publiczna oraz filia Wojewódzkiej Biblioteki Pedagogicznej. W 2000 r. zamek został sprzedany. Nowi właściciele mają zamiar otworzyć w nim nowoczesny hotel z zapleczem sportowym. Mazury domki posiadają bazę obiektów także z Węgorzewa.