Tuttavia un periodo di fulgore Oria lo conobbe nuovamente grazie alla presenza in città di una folta comunità ebraica e alla mirabile figura del Vescovo Teodosio, ma ciò non evitò nel 924 l'attacco degli Arabi Prima, degli Ungari poi e degli Agareni infine, che rasero la città al suolo cancellando molte fonti storiche del suo fiorente passato. Alla fine del primo millennio non mancarono le catastrofi naturali che comunque non impedirono alla città di risorgere, Questa ascesa cominciò con i Normanni, guidati da Boemondo D'Altavilla e si concluse con gli Svevi germanici di Federico II, che tra il 1227 e il 1233 eresse il sontuoso castello sulle preesistenti fortificazioni normanne.
Alla conclusione della pagina sveva, Oria passò sotto il dominio degli Angioini, e vi rimase fino alla venuta degli Aragonesi, circa il 1400. Nel 1562 l'Arcivescovo di Milano Carlo Borromeo, che la chiesa onorerà successivamente elevandolo agli onori degli altari, dapprima la ereditò e poi la vendette.
Nella disputa per il regno di Napoli intanto, la città aveva dovuto subire ancora assedi e distruzioni, questa volta a causa degli Spagnoli, scesi nell'Italia meridionale insieme con i Francesi per impossessarsene.
Sotto i Borboni, Oria subì una nuova e definitiva decadenza, facendola diventare nei secoli successivi meta soltanto di letterati e artisti desiderosi di riscoprire i fasti dei secoli passati.
Nel 1225 Federico II di Hohenstaufen nell'attesa della venuta a Brindisi da Gerusalemme, della sua promessa sposa di Jolanda di Brienne, volle che sulle preesistenti fortificazioni normanne fossero costruiti nuovi elementi svevi.
L'anno successivo, infatti, Federico cedette all'Arcivescovo Peregrini I la superficie dove oggi è ubicata la Basilica Cattedrale, ottenendo in permuta l'area in cui sarebbe sorta la sua monumentale residenza ritenuta oggi tra le più seducenti di tutta la regione.
Sorto sul colle più alto della città, il maniero ha espresso per tutti i sovrani ed i principi che vi hanno dimorato, un eccezionale punto di forza strategico e militare. Avente la forma di triangolo isoscele con base a sud e vertice a nord, il castello federiciano è costituito oltre che dalle torri dello Sperone e Quadrata, anche da una piazza d'armi, capace all'epoca di contenere più di cinquemila uomini, e dall'ipogeo dei Santi Crisante e Daria, primi protettori della città