Con la venuta degli Angioini, il maniero normanno-svevo, a causa della erezione delle torri del Salto e del Cavaliere, subì un'ulteriore modificazione sia nella forma che nella funzionalità, e nonostante il soggiorno di regnanti il castello fu sottoposto ad un lento, graduale e costante stato di abbandono. Restaurato più volte nei secoli, subì con il ciclone che colpì Oria il 21 settembre del 1897, danni irreparabili. Fu merito però della famiglia Martini Carissimo, se ritornò a nuovo splendore, avendolo permutato dal Comune nel 1933. Il castello federiciano di Oria, che gode di filiale ed incessante amorevolezza da parte degli eredi, ospita nelle sale interne le austere collezioni messapiche e greco-romane.
Adagiato sui colli del Vaglio, di S. Andrea e dei SS. Crisante e Daria, costituito da un labirintico groviglio di vie irte e strette è il suggestivo Centro Storico. Una cinta muraria di impianto medievale racchiude poi, come uno scrigno i suoi gioielli, gran parte delle bellezze antiche che esso contiene, mentre la città moderna si è sviluppata negli ultimi secoli appena fuori le antiche mura. Nella parte antica della città, si osservano imponenti i Palazzi Vescovile e dei Missionari.
Il primo voluto dall'Arcivescovo Gian Carlo Bovio, sorge sull'antica acropoli messapica, nei pressi della Basilica Cattedrale, alla quale è collegato internamente. Nell'atrio del Palazzo si ammira un insieme di elementi messapici, romani, bizantini, medievali e rinascimentali, mentre alcuni affreschi del Tibaldi adornano le sale interne.
Sede Episcopale, di una Diocesi che comprende 11 comuni e circa duecentomila anime, il palazzo ospita l'archivio diocesano, una collezione di antichità e la biblioteca Kalefati, i cui libri sono un vero punto di riferimento nello studio della storia locale.
Il Palazzo dei Missionari, invece, che fu voluto nel 1748 da Michele IV Imperiali sul colle detto di S. Andrea, è stato sede fino a qualche tempo fa dei Padri Missionari di S. Vincenzo e del Seminario Diocesano. Ad esso è annessa la chiesa che ha visto formare spiritualmente il Beato Giustino de Jacobis, missionario in Abissinia.
Di proprietà delle più ricche famiglie oritane sono i Palazzi Schiroli, Errico, Mingolla, e Salerno-Mele, ma per il barocco che lo adorna, di gran lunga più bello è Palazzo Martini-Carissimo che l'omonima famiglia, nel 1933, lo permutò con il Castello cedendolo al Comune di Oria. Sede Municipale fino a qualche decennio fa, funge oggi da contenitore per mostre, cerimonie ed incontri diplomatici. Nel Salone di Rappresentanza, internamente, sono da vedere alcuni affreschi e decorazioni di pregevole fattura.
