A fortaleza situa-se no topo de um maciço rochoso que separa os leitos dos rios Abión e Ucero e está separada, por uma colina, dos pântanos que delimitam os vales do Douro a sul.

Em 912, a povoação de Osma é mencionada em documentos e, embora se possa pensar num repovoamento das ruínas da cidade romana de Uxama, existem indícios de estruturas no monte onde hoje se ergue o castelo que permitem localizar ali esta povoação inicial.

Por volta de 933, quando ocorreu a primeira derrota em Osma das tropas califais, ou em 934, quando Ramiro II de Leão e o conde Fernán González se refugiaram no castelo (há dúvidas se foi neste ou no de Gormaz), a maior parte da fortaleza que hoje vemos deve estar a ser construída pelo leonês. A importância estratégica do castelo de Osma aumentou significativamente após a derrota muçulmana de 939, na sequência da batalha de Simancas, a sul de Gormaz. O califado reagiu nos anos seguintes, recuperando Gormaz e fortificando-a. Assim, durante cinquenta anos (entre 934 e 989), o castelo de Osma foi a principal defesa das portas do reino de Leão neste troço do Douro e, sem dúvida, o castelo cristão mais exposto ao ataque do terrível inimigo muçulmano.

A obra de Ramiro II de Leão foi anexada às torres anteriores e era construída em alvenaria grossa, com grande abundância de pedras romanas e magníficos blocos labrados com marcas de cantaria nos cantos, portas e setiras. O castelo alto tinha quatro torres (as duas já existentes e as duas novas, uma delas pentagonal e oca) e duas portas, a norte e a sul, que permitiam descer em direção aos rios Abión e Ucero.

Cinquenta anos de resistência face ao Califado e à formidável fortaleza de Gormaz é muito tempo, mas, no final, Almanzor era Almanzor, e Osma caiu nas suas mãos em 989. Em 994, caíram San Esteban e Clunia e, no ano seguinte, o conde castelhano Garci Fernández perderá a cabeça em Alcozar.

O famoso general de Algeciras repovoou a região com árabes e reforçou o castelo de Osma; parte do revestimento exterior da torre virada para Uxama poderá ser da sua autoria, mantendo-se sob o domínio do Califado até 1011, ano em que voltou a passar para mãos cristãs.