Pirmās ziņas par pirmo aizsargceltni, kas te tika uzbūvēta no koka, nāk no 1241.gada. Aizsargceltni pie Sajnas upes uzbūvēja krustneši, kas iekaroja šo vietu, kur agrāk atradās seno prūšu apmetne. Līdz mūsu dienām pilsētā ir saglabājusies Varmijas bīskapu pils (XIV-XVI gs.). 1350. gadā bīskaps Jans I no Misinas sāka šeit tagadējās pils būvniecību. Būvniecības darbi noritēja pus gadsimtu. No 1355 līdz 1373 gadam būvniecības darbus turpināja viņa pēctecis Jans II
Stiprock. Šajos gados pils ieguva savas sākotnējās formas viens pils spārns, kurā bija izvietotas dzīvojamās telpas, no pārējām pusēm atradās mūra sienas. Tāpat ir varbūtība, ka pie vienas no šīm mūra sienām bija cita mazāka celtne, kas līdz mūsu dienām nav saglabājusies. Otra būvniecības fāze notika nākošos 25 gadus. Šo būvniecības fāzi saista ar bīskapu Henriku III Sorbomu,
kurš jaunajā pils dienvidu spārna ierīkoja bīskapu dzīvojamās telpas.
XIV un XV gadsimtu mijā, blakus pils rietumu sienai tika uzbūvēts
adoptācijas ēka pie iebraukšanas vārtiem.
Šādā formā pils ir saglabājusies līdz mūsu dienām. Pils Ziemeļu
Rietumu daļā atrodas liels taisnstūra formas pie pamata un apaļas
formas augšā tornis. Arheoloģisko pētījumu rezultātā tika atklāts, ka
sākotnēji pils vārti atradās mūru dienvidu daļā, bet vēlāk, kad tur
uzbūvēja dzīvojamo korpusu, tie tika pārcelti. 1505. gadā apkārt pilij
tika uzbūvēta mūra nocietinājuma siena ar pus cilindriskiem torņiem.
Ar gadiem pils nozīme kritās un
XVIII
gadsimtā pilī tika izmantotas tikai pāris telpas. Līdz
1795.gadam pilī tika ierīkots cietums. XIX gadsimta sākumā pilī notika
divi ugunsgrēki pirmais 1806.gadā un 1807.gadā. Pēc šiem
ugunsgrēkiem XIX gadsimtā 20.gados pils austrumu spārns tika pārbūvēts
par evaņģēlisko baznīcu. 1976-85 gados pils tika izremontēta un
pielāgota mākslas galerijai. No pils cilindriskā torņa paveras skaists
skats uz pilsētu un tuvāko apkārtni.