La présence juive à Karlovac date probablement de la moitié du 19^e siècle. Une synagogue fut construite à Karlovac en 1870. Elle servit la communauté jusqu’en 1960, lorsqu’elle fut détruite. Une plaque commémorative a été posée sur l’immeuble où elle se trouvait.

Cette ville comptait près de 500 juifs avant la guerre. Ces dernières années, le cimetière juif a été la cible de vandales fascistes, qui y ont peint des croix gammées et des slogans à la gloire du régime oustachi.

Il abrite environ 200 tombes. Le cimetière est situé dans la région de Velika Svarca, près du cimetière militaire.