Au haut Moyen Âge, la communauté juive de Mayence rivalise avec celles de Worms et de Spire. Il n’en reste que très peu de traces.
Parmi les quelques pierres tombales préservées dans le cimetière juif, on trouvera celle du rabbi Gershom ben Yehuda (vers 960-1028), surnommé Meor ha-Golah (« Lumière de l’exil»).
Une nouvelle synagogue a été construite en 2010, qui remplace l’ancienne. Elle accueille également un mikvé, un centre culturel, une école et une bibliothèque.