Fue construido por el obispo Camargo en 1626. Tiene una gran puerta de piedra con un escudo. Está ubicado en la Plaza de la Catedral y su aspecto actual viene de principios del siglo XVIII.
A un lado del palacio hay una torreta de ladrillo que servía de palomar (en la calle Obispo).