Relikty zamku krzyżackiego w Osieku, które zachowały się formie trwałej ruiny, współcześnie są niemal niewidoczne dla turystów. Sam zamek w średniowieczu znajdował się na stosunkowo niewielkiej wyspie i swoim kształtem przypominał dzwon. Była to murowana siedziba prokuratora krzyżackiego, posiadająca podpiwniczenie oraz dwie bramy. Po wojnie trzynastoletniej obiekt był w złym stanie. W 1565 r. starosta Adam Walewski na fundamentach spalonej krzyżackiej, gotyckiej budowli postanowił wznieść renesansowy pałac, a także połączyć wyspę z lądem. Ten obiekt zniszczyli Szwedzi do tego stopnia, że w początkach XVIII w. pałac nie nadawał się do użytku i został poddany rozbiórce. Do czasów obecnych zachował się jedynie fragment muru pochodzącego ze starościańskiego pałacu, a także niewidoczne na pierwszy rzut oka fundamenty oraz piwnice zamku.