Der erste jüdische Friedhof in Warburg wurde 1687 im Mollhauser Graben vor der nordwestlichen Stadtmauer - im Zwingerbereich - der Warburger Neustadt angelegt. Das Grundstück wurde von der Stadt gepachtet. Dieser Friedhof wurde bis etwa 1828 belegt. Er war 1758, 1772 und 1796 erweitert worden. 1828 verkauft die Stadt das Grundstück nach einem Rechtsstreit mit der jüdischen Gemeinde, den diese verloren hatte. Es sind aus der Zeit keine Grabsteine erhalten.
1829 bis 1832 wurde ein neuer jüdischer Friedhof am Burgberg beziehungsweise unweit des so genannten Sacktores angelegt, der direkt an den gleichzeitig innerhalb der Burgbergmauern angelegten städtischen Friedhof angrenzte.
Der Friedhof wurde in der NS-Zeit geschändet; viele Grabsteine wurden zerstört. Aus Grabsteinfragmenten wurde 1945 auf Veranlassung der Militärregierung ein Mahnmal errichtet. Anstelle von zerstörten Grabsteinen wurden Ersatzgrabsteine aufgestellt, um dem Friedhof wieder ein würdevolles Erscheinungsbild zu geben. Diese Ersatzgrabsteine enthalten den Namen des Verstorbenen und einen "Davidstern". Heute sind etwa 285 Grabsteine erhalten. Die bislang letzte Beisetzung fand 2010 auf dem Friedhof statt.
Edmund Balsam geb.1888 in Südpolen, gest. 1954 in Paramus, USA war als jüdischer Offizier in der polnischen Armee. Als Kriegsgefangener kam er in das Offizierslager VI in Dössel. Ab Mai 1945 wohnte er dann für einige Zeit in Warburg. Er war Diplomingenieur und wurde beauftragt, aus den zerschlagenen Grabsteinen auf dem jüdischen Friedhof ein Denkmal zu errichten.