Antes del actual palacio episcopal hubo dos anteriores edificios datados en los años 1340 y 1539.

El actual palacio episcopal, situado junto a la Catedral, se construyó por iniciativa del obispo Juan Piñeiro. Está constituido por un conjunto de edificios de distintas épocas, que transcurren desde el siglo XVII hasta finales del siglo XVIII, de cuatro plantas de altura. La parte más moderna, edificada por D. Juan Luelmo y Pinto, donde se encuentra la fachada, fue lo edificado en la segunda mitad del siglo XVIII. 

En la primera planta destacan los cinco balcones sobre mensulones con marcos moldurados y el escudo del Obispo Juan de Luelmo y Pinto sobre el central. 

Al interior del Palacio se accede por una escalera de tipo claustral que da paso a una espacio monumental culminado por una bella cúpula octogonal. 

El edificio alberga en la planta baja las oficinas de la curia, en el primer piso una pequeña capilla, el salón del trono, las salas nobles, una gran biblioteca y diferentes dependencias residenciales.