Zamek w Raciążku zbudowano w miejscu starszego drewniano-ziemnego założenia obronnego biskupów kujawskich, wymienionego w źródłach w połowie XIII wieku. W latach 30. XIV wieku wspomniany gród zniszczyli Krzyżacy.

Budowę zamku murowanego położonego na cyplu, wcinającym się w dolinę Wisły, rozpoczął biskup Maciej z Gołańczy wkrótce po zniszczeniu grodu. Zamek był założeniem dwuczłonowym składającym się z zamku właściwego, który zlokalizowano we wschodniej części cypla, i przedzamcza znajdującego się w zachodniej części cypla. Jego człony rozdzielała sucha fosa.

Budowa warowni przebiegała kilkuetapowo. W pierwszej kolejności zbudowano trój­kondygnacyjny dom mieszkalny na planie prostokąta o wymiarach 12 m × 25 m. Budowlę wzniesiono przy wschodniej krawędzi cypla. Następnie, za rządów biskupa Zbyluta z Gołań­czy, dom mieszkalny powiększono w kierunku zachodnim do wymiarów 17 m × 25 m. Warownię dodatkowo wzmocniono, budując mur obwodowy. Ciągnął się on południową i północną krawędzią wzgórza do około połowy jego długości, następnie biegł wzdłuż linii północ-południe, tworząc kurtynę zachodnią. W narożniku południowo-zachodnim, w pierwszej połowie XVI wieku za czasów biskupa Jana Karnkowskiego, zbudowano czworoboczną wieżę.

Po objęciu biskupstwa kujawskiego w 1582 roku przez Hieronima Rozdrażewskiego zamek w Raciążku przebudowano. Dom mieszkalny przekształcono w renesansową rezydencję, a w zachodniej części wzgórza zamkowego wzniesiono wolno stojącą wieżę bramną. W drugiej połowie XVII wieku opuszczony przez właścicieli zamek popadł w ruinę. W XVIII wieku biskupi kujawscy ponownie zainwestowali w zamek. Na polecenie biskupa Felicjana Konstantego Szaniawskiego, sprawującego urząd w latach 1706–1720, postawiono na przedzamczu drewnianą rezydencję. Krzysztof Antoni Szembek, biskup kujawski w latach 1720–1738, przyczynił się do przebudowania zniszczonego domu mieszkalnego w barokowy pałac. Kres świetności zamku biskupiego w Raciążku przynosi wiek XIX, gdy – ponownie opuszczony – stał się miejscem pozyskiwania materiałów budowlanych. W latach 1978–1985 na zamku przeprowadzono badania archeologiczno-architektoniczne, którymi kierował profesor Leszek Kajzer.

Obecnie zamek jest ruiną chronioną prawnie przez wpis do rejestru zabytków 4 czerwca 1955 roku.

Leszek Kotlewski