La fortalesa s'alça sobre un penyal que separa els cursos dels rius Abión i Ucero i està separada per un coll dels turons que voregen les valls del Duero al sud.

El poblat d'Osma es documenta per primer cop l'any 912 i, tot i que es podria suposar que va ser un repoblament de les runes de la ciutat romana d'Uxama, hi ha proves d'estructures al turó on ara s'alça el castell que suggereixen que aquest primer poblat s'hi va situar.

Cap al 933, quan va tenir lloc la primera derrota de les tropes del califa a Osma, o el 934, quan Ramiro II de Lleó i el comte Fernán González es van refugiar al castell (no està clar si es tractava del castell d'Osma o del de Gormaz), els lleonesos devien estar construint la major part de la fortalesa que veiem avui dia. La importància estratègica del castell d'Osma va augmentar significativament després de la derrota musulmana del 939, arran de la batalla de Simancas, al sud de Gormaz. El Califat va respondre els anys següents recapturant Gormaz i fortificant-lo. Així, durant cinquanta anys (entre el 934 i el 989), el castell d'Osma va ser la principal defensa de les fronteres del regne de Lleó en aquest tram del Duero i va ser, sens dubte, el castell cristià més exposat als atacs del formidable enemic musulmà.

Les ampliacions de Ramir II de Lleó es van construir contra les torres existents i estaven fetes de maçoneria gruixuda, amb una gran abundància de pedres romanes i superbs blocs de pedra tallada amb marques de picapedrer als racons, portes i espitlleres. El castell superior tenia quatre torres (les dues preexistents i les dues noves, una de les quals era pentagonal i buida) i dues portes, al nord i al sud, que permetien l'accés als rius Abión i Ucero.

Cinquanta anys de resistència contra el Califat i la formidable fortalesa de Gormaz són molt de temps, però al final, Almanzor va ser Almanzor, i Osma va caure en mans seves el 989. El 994, van caure San Esteban i Clunia, i l'any següent el comte castellà Garci Fernández va ser decapitat a Alcozar.

El famós general d'Algeciras repoblà la zona amb àrabs i refortificà el castell d'Osma; part del revestiment exterior de la torre que dóna a Uxama podria ben bé ser obra seva, i el castell romangué en mans del Califat fins al 1011, quan tornà a mans cristianes.