Das älteste bis jetzt gefundene Dokument ist eine Brandversicherungsakte. Der erste Eintrag ist von 1829. Das Gebäude wird bezeichnet als „zweistöckiges Wohnhaus mit Scheuer ohne Stockmauer.“ Weitere Einträge belegen wechselnde Besitzer und Nutzungen.
1849 wurde es durch einen Brand verwüstet und sofort wieder aufgebaut.
1865 baute Christian Blocher im ersten Stock eine Wohnung ein. 1866 übernahm der „Frachtfuhrmann“ Josef Blocher das Haus. Im Parterre war der Pferdestall mit vier Boxen, dahinter ein Kuhstall. Die rechte Haushälfte war die Tenne, die bis in den 2. Stock hinaufreichte. Auf der linken Seite befanden sich über dem Stall im 1. Stock zwei Kammern, im 2. Stock eine Wohnung mit Küche, Kammer und zwei Stuben. Weitere Umbauten folgten, die Tenne wurde in Wohnraum umgewandelt.
Das Haus hatte zwei Eingänge, einen durch den Stall und einen über eine Außentreppe direkt in den 1. Stock, in dem sich zeitweise auch das Gasthaus zum Löwen befand. 1890 war es im Besitz des Rexinger Viehhändlers Simon Schwarz, der die beiden Gaststuben an die jüdische Gemeinde als Betsaal vermietete. Es wurde in der Familie weitervererbt, bis es 1930 Rudolf Schwarz an die christliche Familie Diesch verkaufte. Der Mietvertrag mit der jüdischen Gemeinde blieb bestehen. Rudolf Schwarz emigrierte 1934 mit seiner Frau nach Holland. Die Inneneinrichtung des Betsaals war schlicht. An der Ostwand der Männerabteilung stand der Toraschrein, davor das Betpult. Die Männer und Frauen saßen auf einfachen Stühlen, die Kinder auf Bänken entlang der Wand. Unten im Stall stand das Vieh von Rudolf Schwarz. Eine anschauliche Beschreibung der Räume und der Gottesdienste findet sich in den Kindheitserinnerungen von Fritz Frank, der 1886 in Horb geboren wurde.
„Aus etwa 30 Familien bestehend, besaß diese kleine jüdische Gemeinde nichts, was sich gleichwertig an Größe und Schönheit einer Kirche gegenüberstellen ließe. Ihre Synagoge, das sind zwei ineinander gehende Stuben über dem Stall des Viehhändlers Schwarz. Das Gemuhe mischt sich in den Gottesdienst, ohne dass dies von den Betern, die mit dem Vieh sozusagen groß geworden waren, als Störung empfunden oder überhaupt wahrgenommen wird.
Der Männersaal hat zur Einrichtung den Schrank mit den Torarollen an der Ostwand, den Betpult mit seiner samtenen Decke und zehn Stuhlreihen. Rechts und links vom Betpult sind je eine schmale Bank für die Kinder, die auf diese Weise unter dem Auge gehalten werden und nicht stören.
Der Frauensaal daneben mit seinem türbreiten Durchbruch gibt den Blick frei auf Betpult, Vorbeter und Toraschrank. Einfache Stuhlreihen sind auch hier die ganze Ausstattung Die Nüchternheit und Ärmlichkeit beeinträchtigen nicht den Ernst des Gottesdienstes. So wenig wie die Geräusche aus dem Stall, so wenig lenkt das Leben auf der Gasse, das in den Betsaal hereindringt, ab, besteht es doch höchstens aus Kinder- oder Weibergeschrei, Bauernfuhren oder dem Doktorswagen. Stimmen und Geräusche, von denen jeder der Beter, wenn er ihnen Achtung schenkte, wüsste, wem sie zugehören.
Jedes Mitglied der Gemeinde hat seinen bestimmten Platz. Hindert Krankheit oder Reise den Besuch, so bleibt der Platz unbesetzt und nimmt als solcher gewissermaßen Anteil am Gottesdienst. Die ältere Generation versteht wohl noch das Hebräisch der Gebete, doch werden sie nur zum Teil mit Bewusstsein ihres Inhalts gesprochen. Man begnügt sich über weite Strecken mit der Form, dem stummen Lippensprechen, dem Stehen, dem Verbeugen, dem Singen, dem „Nigun“, gemeinsam mit dem Vorbeter oder im Wechselgesang mit ihm.
Dass man selber jedes Wort versteht, ist nicht so wichtig. Gott, der die Bibel in seiner Sprache gegeben hat, ER versteht es. Nicht der Mensch, sondern das Wort, die Melodie, sprechen zu Gott, und der Tallit, der Gebetsmantel, mit Segensspruch umgelegt, erhebt die Körperlichkeit des Alltags zum priesterlichen Gefäß.
Es ist nicht der kleine Lippman Stern vorne am Betpult, der die Woche über auf seiner Ladentheke sitzt, hemdsärmelig, mit untergeschlagenen Beinen schneidert, einen Kunden hereinruft, Kinder schreckt oder lockt. Nein, was jetzt da vorne steht, von Kopf bis Fuß eingehüllt in das weiße Tuch mit den breiten schwarzen Streifen und den Fransen an den Ecken, ist wirklich ein Glied jenes Volkes von Priestern, das nach Gottes Plan das jüdische Volk darstellt.
Wenn er dann zur Tora aufruft und die Aufgerufenen die Tora ausheben, mit ihr um den Betpult schreiten, wenn die Umstehenden mit den Fingerspitzen die Tora berühren und die Fingerspitzen an die Lippen zum Kusse führen – auch die Kinder, die keines der Worte verstehen, ahmen diese Bewegung der Verehrung nach - wenn die Gemeinde singt:
adonai adonai el rachum we anun – unser Gott unser Gott, barmherzig und gnädig,
und wenn sie im Gesang die Tora wieder zurückbringen:
Ein Born des Lebens ist sie, und wer an ihr hält, und wer sie erfasst, ist glücklich. Ihre Wege sind Wege der Anmut, all ihre Bahn ist Friede,
so singt jeder freudig und so gut und so schön er kann, im Wunsch und in der Überzeugung, dass sein Gesang Gott wohl gefallen möge.“
Am Morgen des 10. November 1938 kamen SA-Männer und Schüler der Horber Oberrealschule, angeführt von ihrem Lehrer und Hitlerjugendführer Franz Gronmayer, und drangen in den Betsaal ein. Sie warfen die Torarollen, die Gebetbücher, die Leuchter und das Mobiliar auf die Straße, zertrampelten es und zündeten es an.
Nach der Zerstörung des Betsaals ließen die Besitzer in die beiden Räume zwei Wohnungen einbauen, die sie vermieteten. Die Außentreppe wurde abgerissen und der obere Eingang zugemauert.
Nach dem Tod der letzten Eigentümerin stand das denkmalgeschützte Gebäude zum Verkauf und wurde schließlich von einer Eigentümergemeinschaft erworben, die es renovieren und umbauen ließ. Einer der Eigentümer ist die Förderstiftung Jüdischer Betsaal Horb, die die beiden unteren Stockwerke seit Ende 2012 als Ausstellungsräume nutzt.