La presencia judía en Karlovac se remonta probablemente a mediados del siglo XIX. En 1870 se construyó una sinagoga en Karlovac, que prestó servicio a la comunidad hasta 1960, año en que fue destruida. En el edificio donde se encontraba se ha colocado una placa conmemorativa.
Antes de la guerra, Karlovac contaba con unos 500 judíos. El cementerio judío de Karlovac ha sido objeto de actos de vandalismo por parte de fascistas, que han pintado esvásticas y consignas que glorifican al régimen ustasha.
Cuenta con unas 200 tumbas. El cementerio se encuentra en Velika Svarca, cerca del cementerio militar.