Budowę warowni rozpoczęto po 1293 roku, wykonując bliżej nieokreślone drewniano-ziemne umocnienia. W latach 1300–1330 zbudowano założenie składające się z zamku wysokiego i przedzamcza. W XIV wieku zamek wysoki wzmocniono wolnostojącą wieżą przy narożniku południowo-zachodnim, a na początku XV wieku – wieżą przy narożniku północno-zachodnim.
Założenie obronne zlokalizowano na wysokim cyplu na krawędzi wysoczyzny przylegającej do doliny rzeki Drwęcy. Zamek wysoki postawiono na przylądku cypla na planie prostokąta o wymiarach 39 m × 42 m. Siedziba komtura była budowlą czteroskrzydłową, podpiwniczoną z trzema kondygnacjami. W narożniku północno-zachodnim znajdowała się wieża zbudowana w partii dolnej na planie kwadratu, a wyżej przechodziła w ośmiobok – obecnie niezachowana. Piwnice i przyziemie wykorzystywano jako pomieszczenia gospodarcze. Na pierwszym piętrze mieściły się: kaplica, infirmeria i kapitularz w skrzydle południowym, zakrystia i refektarz w skrzydle wschodnim, dormitoria w skrzydle północnym i mieszkanie komtura w skrzydle zachodnim. Komunikację z pierwszym piętrem zapewnia drewniany, zadaszony krużganek obiegający budynek od strony dziedzińca. Przez środek skrzydła zachodniego przebiega przejazd na teren dziedzińca. Zamek pierwotnie otaczało międzymurze i mur. Zamek i przedzamcze oddzielał przekop.
W XVII wieku, kiedy zamkiem zarządzała Anna Wazówna, warownię przebudowano na późnorenesansową rezydencję. Zwieńczono ją attyką, w narożach wybudowano okrągłe wieżyczki, przebudowano otwory okienne i zmieniono wystrój wnętrz.
Po zachodniej stronie zamku wysokiego znajduje się przedzamcze, pełniące funkcje gospodarcze. Zbudowano je na planie prostokąta o wymiarach 70 m × 100 m. Przedzamcze bronione było przez system murów obronnych z narożnikowymi wieżami, basztami i fosą. Wjazd na teren przedzamcza umiejscowiono w kurtynie zachodniej.
Zamek uległ zniszczeniom w trakcie wojen prowadzonych w XVII i XVIII wieku. Stan budowli pogorszyły huragany w latach 1842 i 1867. Gwałtowne wiatry strąciły wówczas attyki, a te z kolei zarwały stropy i sklepienia. Mimo to cały czas zamek był użytkowany. W okresie międzywojennym budynek częściowo wyremontowano i utworzono w nim muzeum. W czasie drugiej wojny światowej wykorzystywano go jako ośrodek szkolenia młodzieży hitlerowskiej. Po wojnie przeprowadzono prace remontowe i umieszczono w nim w 1966 roku Muzeum Regionalne, bibliotekę i hotel.
Zamek wraz ze wzgórzem objęty jest ochroną prawną poprzez wpis do rejestru zabytków 18 października 1934 roku.
Leszek Kotlewski