La presencia judía en Graz parece remontarse a la Edad Media, aunque los únicos datos fehacientes se remontan al siglo XII, si bien la primera mención data de 1261. A finales del siglo XIV se formó una comunidad judía que contaba con una sinagoga, un mikvé y un cementerio. Al igual que en la mayoría de las demás ciudades austriacas, la comunidad fue muy pequeña hasta finales del siglo XVIII.
En 1783, se volvió a permitir oficialmente a los judíos participar en las ferias comerciales. A partir de 1848, las familias judías se fueron estableciendo gradualmente en Graz. Se volvió a formar una comunidad judía, que se desarrolló rápidamente. En 1869 contaba con 566 personas y en 1934 con 1720. Durante este periodo se inauguró una sinagoga y se abrió un cementerio judío .
Tras el Anschluss de 1938, los nazis pusieron en marcha un proceso de «arianización» de las ciudades austriacas. Durante la Noche de los Cristales Rotos, en noviembre, la sinagoga fue destruida y 300 judíos fueron detenidos y deportados. Una cuarta parte de los 1.600 judíos de Graz logró huir. El Holocausto se cobró numerosas víctimas en el país.
Tras la guerra, algo más de 100 judíos regresaron a Graz para reconstruir la comunidad. Las partes austriacas tomaron la decisión unánime de reconstruir una sinagoga en Graz, que se inauguró en el año 2000. Muchos de los ladrillos utilizados se tomaron simbólicamente de las ruinas de la antigua sinagoga. Su construcción, obra de la pareja de arquitectos Jorg e Ingrid Mayr, es muy original. La sinagoga cuenta con una magnífica cúpula de cristal. La plaza en la que se encuentra ha pasado a llamarse David Herzog Platz, en honor al último rabino que ofició allí antes de la Segunda Guerra Mundial. En 2020, la sinagoga fue víctima de un ataque antisemita.
En 2025, la comunidad cuenta con 150 miembros.
Fuentes: Encyclopaedia Judaica, Times of Israel