Wieś w XIII w. należała do rodziny Kołudzkich. W XVI w. nastąpiło wydzielenie się Kołudy Wielkiej, która należała do Krzysztofa Krzekotowskiego, oraz Kołudy Małej, która należała do Jana i Petroneli Kołudzkich. W 1712 r. istniał tu dwór otoczony włoskim ogrodem, należący do Marcina Kołudzkiego i jego następców. W 1775 r. dobra te należały do Józefa Kołudzkiego, w pocz. XIX w. do Marii Mittelstadt, a od końca XIX w. do 1939 r. do M. Działowskiej i rodziny Donimirskich. Wówczas to dwór został rozbudowany wg projektu Stanisława Mieczkowskiego.
W czasie okupacji pełnił funkcję szpitala, a po zakończeniu wojny szkoły. Następnie mieścił się tu Dom Pomocy Społecznej dla dorosłych, a obecnie jest to własność prywatna.
Pałac klasycystyczny z poł. XIXw. Budowla piętrowa, wzniesiona na planie wydłużonego prostokąta. Nad piętrem mezzanin, całość nakryta łagodnym czterospadowym dachem. W fasadzie okazały portyk kolumnowy w wielkim porządku. Do korpusu przylegają parterowe skrzydła, przy czym zachodnie łączy się z obszernym parterowym pawilonem.