Im unteren Teil der Verse lag im heutigen Ortsteil Kleinhammer der Adelssitz Ottersheim. Die sogenannten Ottersheimer Höfe gelangten später in den Besitz des Hauses Pungelscheid. Viel gibt es darüber leider nicht zu berichten, da die schriftlichen Aufzeichnungen sehr dürftig sind.
Als Ottersheimer Güter wurden 1540 der Keysershof, der Broickhof und der Hof vor der Solbecke genannt. Der Hof vor der Solbecke wird im Mündungsgebiet des heute Solmbecke genannten Baches gelegen haben und auf dem Broickhof weist heute noch die Ortsbezeichnung Brauck in Kleinhammer hin. Wo der Adelssitz mit dem Burghaus gestanden hat wissen wir nicht. Der 1882 ortsansässige Pfarrer Daniel schrieb, dass die Burg Ottersheim auf dem Brauck gelegen hat und von dieser Burg wären noch Keller, Brunnen und Reste des ehemaligen Burgwalles vorhanden gewesen.
Es gibt natürlich keine Beschreibung wie die „Burg Ottersheim“ ausgesehen hat. Es entsprach aber nicht die Vorstellungen die wir heute von einer Burg haben. Es wird ein einfacher Steinbau mit starken Mauern und kleinen Fenstern. Ein sogenanntes Turmhaus und wird in einem Mauerring gelegen haben. Im Mittelalter besaßen nur adlige Familien ein massives Haus aus Stein und von Mauern umgeben und diese wurden damals Burg genannt. Die Landbevölkerung hatte meistens einfache Fachwerkbehausungen mit Lehm verputzt und die Dächer waren aus Stroh.
Der Familienname Ottersheim ist auch nur einmal in den Archiven vorhanden als Besitzer eines arnsbergischen Lehen an der Fesse (Verse). Durch Erbfolge ging der Besitz Ottersheim später in einem anderen Besitz über, dessen Eigentümer bis ins Jahr 1400 nachweisbar waren. Danach besaßen die Neuhoffs von Pungelscheid den Adelssitz Ottersheim. Da das „feste Haus“ nicht mehr benötigt wurde, wird es langsam verfallen sein. Nur die drei Haupthöfe blieben noch Jahrhunderte erhalten und bleiben mit den Ortsbezeichnungen Brauck und Kaiserhof im Gedächtnis der Werdohler erhalten.