Pierwsza wzmianka o tej miejscowości pochodzi z 1276 r. i dotyczy przywileju księcia pomorskiego Mostwina II. W 1313 r. mistrz krzyżacki Karl z Trewiru nadał tę wieś braciom: Piotrowi, Jaśkowi i Wawrzyńcowi. Wśród właścicieli dóbr wymieniany jest w 1570 r. Jan Wysocki, w 1633 r. Wysocki i Żukowski, w 1716 r. Franciszek Lutomski, od XVIII w. rodzina Janta-Połczyńskich. Założycielem tego rodu, który osiadł na Pomorzu już w 1276 r., był Jan Janta, którego siedzibą była wieś Pułczno na Kaszubach. Podwójnego nazwiska Janta-Połczyński zaczął używać dopiero od 1671 r. Maciej Janta, którego wnuk Jan przejął Małą Komorzę, Wielką Komorzę oraz Dąbrówkę. Po Janie majątek dziedziczył syn Maciej (XVIII w.), a po nim Teodor, za którego ośrodkiem rodu stał się rejon Tucholi. Synowie Teodora uważani byli za założycieli dwóch linii tego rodu: linii wielkopolski-pruskiej zapoczątkowanej przez Stanisława oraz linii pomorskiej, reprezentowanej przez Józefa, którego ideą była walka z postępującą germanizacją, a który majątek swój podzielił między swoje dzieci. Za późniejszego dziedzica Wysokiej uważa się Leona Jantę-Połczyńskiego.

Obecny dwór składa się z trzech zasadniczych części. Najstarszym elementem jest parterowa część wschodnia, bez wyraźnych cech stylowych, pochodząca z przełomu XVIII i XIX w.  Zrewitalizowana część środkowa, parterowa z mieszkalnym poddaszem pochodzi z 1870 r. Jej późnoklasycystyczny charakter podkreśla półkolisty, sześciokolumnowy portyk dźwigający balkon Janty-Połczyńskich. Najmłodszą częścią dworu jest dwukondygnacyjne skrzydło zachodnie o charakterze neoklasycystycznym, dobudowane w pocz. XX w. Jego zrewitalizowaną część środkową podkreśla portyk czterokolumnowy w typie jońskim. Na płn. wschód od dworu, w sąsiedztwie bramy wjazdowej w 1870 r. wybudowano neoromańską kaplicę. Prowadzi do niej aleja kasztanowców, znajdująca się na osi dworu. Kaplica ta jest miejscem spoczynku Walerii z Zabłockich Gotzendorf (powinowatej Janty-Połczyńskich