Erbaut wurde die Burg Oelber vermutlich von den Edelherren von Meindersen im 12. Jahrhundert als Wasserburg und war wahrscheinlich altes hildesheimisches Lehen.
Im Jahre 1353 soll der letzte Edle von Meinersen (Bernhard) das Haus „zu Olbere" mit sämtlichen Besitztiteln dem Bistum Hildesheim übertragen haben. 1395 befand sich dieser Rittersitz im gemeinschaftlichen Besitz derer von Cramm und von Bortfeld.
Während des 30jährigen Krieges (1623) traten die von Bortfeld ihr Lehen an die von Cramm ab. 1626 lag Graf Tilly mit einer Leibkompanie drei Monate hier. Nach seinem Abzug nahmen die Dänen unter Graf Philipp Reinhard von Solms das Schloß ein und verwüsteten es. 1686 erlosch das Geschlecht von Bortfeld die von Cramm wurden nach langwierigen Verhandlungen Alleinbesitzer.
Der jetzige Bau des Schlosses geht auf das Jahr 1583 zurück.

Nach Hans Adolf Schultz: “Burgen und Schlösser im Braunschweiger Land”

Burg und Schloß Oelber