O Castelo de Mirandela ocupa a maioria da zona antiga da cidade, mandado construir pelo Rei D. Dinis, dos finais do século XIII, para o cabeço de S. Miguel, correspondente ao local onde se localiza hoje a Igreja de Nª Srª da Encarnação e Paço dos Távoras (Câmara Municipal), dado que o local era bem defensável, sobranceiro ao rio e cortado de declives nada suaves e até ásperos, tendo sido muralhado, tornando-o uma praça forte à moda da época.
A actividade militar vigorou até ao fim das guerras com Castela, face á vitória de Aljubarrota, momento a partir do qual o castelo entra em declínio, uma vez que perdeu a sua razão de ser por não ser uma povoação fronteiriça.
O Castelo de Mirandela possuía uma muralha, quatro portas (porta de Santo António, porta de Santiago e porta da Portela e ainda o postigo de São José.
Em frente à porta de Santo António, por onde apenas se entrava a pé para o interior da muralha, uma vez que a rua era muito íngreme, e para quem atravessava o rio em barca, dado que nessa época não havia ponte, existiu a uns 15 metros de distância em direcção ao rio, um lanço de muro de alvenaria, também com uma porta em arco de volta inteira, a qual não ficava exactamente no prolongamento da rua do Arco, mas ligeiramente á esquerda desta, e que seriam os restos da antiga barbacã ( muro construído diante das muralhas e mais baixo do que elas, destinado a defender a porta, no caso de Santo António.
Junto ao castelo ou torre de menagem, mais ou menos no lugar hoje do Paço dos Távoras, seria também provavelmente a alcáçova (casa destinada e construída para aposentadoria régia).
As referências à decadência do monumento acentuam-se na época moderna e, em 1706, Carvalho da Costa menciona ainda a existência de três portas - Porta ou Arco de Santiago; Porta de Santo António e Postigo de São José. O século XIX foi particularmente nefasto para a sobrevivência do castelo. Nesta altura, ao abrigo de uma ideia de "progresso", muitas cidades e vilas portuguesas viram as suas muralhas serem demolidas, e Mirandela infelizmente não foi excepção.
A última porta destruída foi a de Santiago, defronte do Solar Condes de Vinhais e saída para norte a partir da Praça Velha (Praça 5 de Outubro) e que dava início á Rua do mesmo nome, demolida em 1880, alegando-se então que o estrangulamento da porta dificultava o trânsito a veículos de carga.
O que hoje é visível é a Porta de Santo António e pequeno troço de muralha que entra no edifício que lhe é contíguo para norte hoje Pensão Praia, e ainda dois troços de muralha visíveis no início da Rua do Rosário e na confluência com a Rua de S. José (local do antigo Postigo de S. José).
Serão ainda muralha primitiva do castelo, a quase totalidade das paredes posteriores dos edifícios que encostaram pela Rua Luciano Cordeiro e Rua de S. Cosme, sendo pena que na década de 90, tenha sido destruído um troço de muralha com cerca de 30 metros para aí serem construídos edifícios (terrenos da casa Lima, na Rua Luciano Cordeiro para sul do entroncamento com a Rua D. Manuel I.
Ainda vestígios da Rua da muralha encontrados no contexto de trabalho arqueológico efectuado na Travessa de Santo António.
Encontra-se classificado como de Imóvel de Interesse Público no ano de 1955.
