Als Fürstbischof Wilhelm von Reichenau (1464-1496) im Jahr 1466 das Schloss mitsamt allen Zugehörungen (Dorf, Dorfgericht etc.) kaufte, ging nicht nur die relative Selbständigkeit verloren, sondern aus den Baugliedern wurde auch ein einheitliches Gebäude geformt.
Später hielten die Bischöfe Martin von Schaumberg (1560-90) und Marquard II. Schenk von Castell (1637-85) in der Burgkapelle Messen ab und nutzten die frühneuzeitliche Schlossanlage für Jagdaufenthalte und als Forstamt. Zwischen 1690 und 1694 erfolgte unter Fürstbischof Johann Euchar Schenk von Castell (1685-1697) der Umbau zum barocken Jagdschloss durch seinen Hofbaumeister Jakob Engel.
Der Umbau zum wohl ersten „Barockschloss“ der Eichstätter Bischöfe erfolgte schlicht und unter Einbeziehung des mittelalterlichen und frühneuzeitlichen Bestandes. Das lag vermutlich nicht nur an der finanziellen Situation nach dem Dreißigjährigen Krieg, sondern auch an der Zweckbestimmung als Jagdschloss für nur gelegentliche Aufenthalte. Engel entkernte das Feste Haus, änderte unter anderem die Stockwerkszurichtung von drei auf zwei Obergeschosse und fügte zwischen Palas und Bergfried das mit Kreuzgratgewölbe gedeckte Treppenhaus ein. Im Nordwesten schloss er die kompakte Anlage mit einem Neubau auf älteren Fundamenten ab. Dieser Teil beinhaltet u.a. die historischen Abtritte und schließt den Bergfried mit ein. Das vom Turm um ein Stockwerk überragte Schlossgebäude erhielt ein flachgeneigtes Kalkplattendach.
Kostensparend war die Gestaltung der Außenfassade, die Engel lediglich als Fassadenmalerei aufbringen ließ. Sparsam und ohne aufwendigen Zierrat gestaltete der Baumeister auch das Schlossinnere. Noch erhalten sind zum Beispiel die einfachen Tafeldielungen vieler Holzböden, die Sechseckplatten aus Juramarmor in den Geschossgängen sowie Türverkleidungen und -blätter. Diese sind geohrt und mit profilierten Zierleisten versehen und passen hervorragend zu den einfachen, aber immer neuen Mustern der Stuckdecken.
Die staatliche Nutzung als Forstamt nach der Säkularisation bis in die 1950er Jahre hat dazu beigetragen, dass keine großen baulichen Veränderungen stattfanden. Trotzdem wurden von den heutigen Eigentümern viele kleine Veränderungen wieder rückgängig gemacht und auf die einstige Farbgestaltung zurückgegriffen, sodass der einstige Zustand recht getreu wiedergegeben wird.