Si la présence de juifs vésuliens est attestée depuis le 13e siècle, une communauté s’y forma notamment grâce à la synagogue située sur la Grande-Rue. Une quinzaine de familles juives habitaient la ville.
Si contrairement à d’autres communautés de la région les juifs vésuliens n’étaient pas particulièrement connus pour leurs yeshivot, certaines personnalités jouèrent un rôle historique, à l’image de la famille de banquiers Héliot ou bien Manessier de Vesoul qui prit part aux discussions concernant le retour des juifs en France en 1359. Les juifs furent régulièrement accusés d’empoisonnement, selon une propagation de rumeurs antisémites fréquente à l’époque.
Une petite communauté juive vit le jour à nouveau suite à la vague d’émancipation provoquée par la Révolution française, renforcée suite à l’arrivée d’Alsaciens après la guerre de 1870. Parmi eux, les grands rabbins Isaac Lévy et Moïse Schuhl.
On y trouve aujourd’hui une synagogue datant de 1875 ainsi qu’un cimetière juif aménagé au 19e siècle. Pendant la Seconde Guerre mondiale, 107 juifs sont déportés de Haute-Saône. Le maire René Weil est contraint de démissionner en 1940 et retrouvera son poste à la Libération de 1944. Raymond Aubrac, célèbre résistant, est né en 1914 dans une famille juive de Vesoul. Des juifs vésuliens reconstruisirent la communauté après-guerre, mais la synagogue est désaffectée.