Fue construido por el obispo Camargo en 1626. Tiene una gran puerta de piedra con un escudo. Está ubicado en la Plaza de la Catedral y su aspecto actual viene de principios del siglo XVIII. A un lado del palacio hay una torreta de ladrillo que servía de palomar (en la calle Obispo).
Existe un proyecto por el cual, en un futuro, este edificio podría convertirse en una hospedería para Coria.