La ciudad contó con una comunidad judía de cierta importancia tras la reconquista cristiana.
En 1479 se censaron 100 judíos casados, lo que elevaba el número de miembros de la comunidad a unas 650 personas. Vivían en dos juderías: la «vieja» estaba situada donde hoy se encuentra el Palacio de las Veletas; la «nueva» se extendía alrededor de la Plaza Mayor, donde se encontraban los comercios tradicionales de los judíos.
La capilla de San Antonio es probablemente una antigua sinagoga reconvertida: pequeña, con un pórtico y una sola nave, está construida según la planta tradicional de las sinagogas. La capilla, hoy en desuso y que sirve como sala de conferencias de la Casa de la Cultura , ubicada en el Palacio del Marqués de la Isla, también podría ser una antigua sinagoga.