La fortezza sorge in cima a un massiccio roccioso che separa i corsi d'acqua dei fiumi Abión e Ucero ed è distanziata da un valico dalle lande che delimitano le valli del Duero a sud.

Nel 912 è documentato l’insediamento di Osma e, sebbene si possa ipotizzare un ripopolamento delle rovine della città romana di Uxama, vi sono prove dell’esistenza di strutture sul colle dell’attuale castello che consentono di collocare lì questo primo insediamento.

Intorno al 933, quando si verificò la prima sconfitta a Osma delle truppe califfali, oppure nel 934, quando Ramiro II di León e il conte Fernán González si rifugiarono nel castello (non è chiaro se in questo o in quello di Gormaz), il re di León doveva essere già impegnato nella costruzione della maggior parte della fortezza che vediamo oggi. L’importanza strategica del castello di Osma aumentò decisamente dopo la sconfitta musulmana del 939, nel seguito della battaglia di Simancas, a sud di Gormaz. Il Califfato reagì negli anni successivi riconquistando Gormaz e fortificandola. Così, per cinquant’anni (tra il 934 e il 989) il castello di Osma fu la principale difesa delle porte del regno di León in questo tratto del Duero e senza dubbio il castello cristiano più esposto agli attacchi del temibile nemico musulmano.

L’opera di Ramiro II di León si addossava alle torri precedenti ed era realizzata in muratura spessa con abbondanza di pietre romane e superbi blocchi squadrati lavorati con segni di scalpellatura agli angoli, alle porte e alle feritoie. Il castello superiore presentava quattro torri (le due preesistenti e le due nuove, una delle quali pentagonale e cava) e due porte, a nord e a sud, che consentivano di scendere verso i fiumi Abión e Ucero.

Cinquanta anni di resistenza contro il Califfato e contro la formidabile fortezza di Gormaz sono un periodo molto lungo, ma alla fine Almanzor era Almanzor, e Osma cadde nelle sue mani nel 989. Nel 994 cadono San Esteban e Clunia e l’anno successivo il conte castigliano Garci Fernández perderà la testa ad Alcozar.

Il famoso generale di Algeciras ripopolerà la zona con arabi e riforzerà il castello di Osma; parte del rivestimento esterno della torre che si affaccia su Uxama potrebbe essere opera sua, e la fortezza rimase in possesso del Califfato fino al 1011, quando tornò nuovamente in mani cristiane.