Der Überlieferung nach gehen die Ursprünge des Narrengerichts zurück bis ins 15. Jahrhundert
Grosselfingen ist im Besitz der Herren von Bubenhofen. Als die Pest in der Umgebung ausbricht und hunderte Menschen sterben, flüchteten auch diese nach Italien. Bei ihrem Aufenthalt und auf dem Wege, wurden viele Eindrücke und andere Lebenseinstellungen gesammelt. Bei der Rückkehr in ihre Herrschaft fanden sie die Bevölkerung in großer Niedergeschlagenheit vor. Um dem Volk wieder neuen Lebensmut zu geben, erteilten sie das Privileg, zur Abhaltung eines Narrengerichts. Noch heute verkörpern die Butzen mit ihren furchterregenden Larven die Pest und den Tod.
Anfang des neunzehnten Jahrhunderts wird das Spiel fast 30 Jahre lang ausgesetzt. Es ist die Zeit der Hungersnöte und der deutschen Revolution. Das Narrengericht droht in Vergessenheit zu geraten. Erst im Jahre 1858 besinnt man sich auf die alte Tradition. Aus diesem Jahr stammen auch die angepassten Statuten der Bruderschaft. Alte Uniformen aus dieser Zeit sind noch immer in Besitz der Bruderschaft.
Die Tradition wird seit jeher von Generation zu Generation weiter gegeben. Über die Jahrhunderte hinweg hat das Fasnachtsspiel nichts von seiner Ursprünglichkeit verloren. Und so verwandelt sich Grosselfingen auch heute noch, bei jeder Aufführung in ein venezianisches Reich.
Die Familie von Bubenhofen,von links nach rechts: Margarethe von Klingenberg (falsch als Kirchberg beschriftet), deren Tochter Apollonia von Hailfingen (nicht Haichifingen), zwei Knaben in roten Mänteln (entweder Kinder Apollonias, oder früh verstorbene Kinder Margarethes und Konrads, Konrad von Bubenhofen, die Söhne, Hans Konrad (dieser ist aber urkundlich nicht nachgewiesen, also evt früh verstorben. Weshalb er sich in der Darstellung dann aber von den roten Knaben unterscheidet ist nicht ersichtlich), Hans-Heinrich und Veit, sowie der mit Tonsur dargestellte Konstanzer Domdekan Matthäus von Bubenhofen. Der zentrale Teil der Inschrift ist unkenntlich.
Die Stifterfamilie
„Als man zahlt nach Christi geburt mvxxii Jahr auf den anderen Tag des September (02.Sept. 1522) starb der Edel und Vest Hans Heinrich von Bubenhofen zu Honburg dem Gott gnädig sei“.
So kann man es fast 500 Jahre nach seinem Tod noch immer auf dessen Grabplatte ablesen. Er ist im Kreuzgang des Zisterzienser Kloster Bebenhausen, am Eingang zur Klosterkirche an prominenter Stelle begraben. Hans Heinrich von Bubenhofen ist die dritte Generation von Bubenhofen die in Grosselfingen lebten und wirkten und in dessen Residenzzeit die Ausstellung des Freiheitsbriefes für das Narrengericht fällt.
Um das Jahr 1418 erwarb Konrad I von Bubenhofen den Ort mit der Hainburg, die der Mittelpunkt der kleinen zollerischen Herrschaft Hainburg war. Die Hainburg wurde von ihm wieder erneuert ebenso erbaute er im Oberdorf von Grosselfingen ein neues Schloß. Sein Bruder Wolf I von Bubenhofen behielt die Herrschaft Geislingen und Falkenstein an der Donau. Konrad I und Wolf I von Bubenhofen gehörten zu den Räten der Grafen von Württemberg, beide waren 1414 auch beim Päpstlichen Kirchenkonzil in Konstanz vertreten. Da Wolf I von Bubenhofen keine Kinder hatte, erbten die Söhne seines Bruders Konrad I nach dessen Tod 1461, auch seinen gesamten Besitz.
Die beiden Söhne Konrads I von Bubenhofen der bereits 1453 gestorben war, Hans und Konrad II, verwalteten lange Zeit gemeinsam den ererbten Besitz. Konrad II war württembergischer Rat und Hans von Bubenhofen stieg bis zum Landhofmeister unter dem Grafen Eberhard im Barte von Württemberg auf. Als oberster Beamter in Württemberg- Urach leitete er auch die Regierungsgeschäfte während der Abwesenheit des Grafen. Die Söhne des Landhofmeisters Wolf II und Hans Caspar von Bubenhofen erbten nach dessen Tod 1481 die Herrschaften Gammertingen, Hettingen, Falkenstein an der Donau und Geislingen. Hans Caspar auch der Goldene Ritter genannt war wie sein Vater Marschall und Landhofmeister im Dienste der Württemberger. Er war auch Erzieher des Herzog Ulrichs von Württemberg, der als elfjähriger durch den Horber Vertrag 1498, den erst 1496 an die Macht gekommenen Herzog Eberhard den jüngeren von Württemberg ablöste. Bei den seit 1997 stattfindenden Maximilian Ritterspielen in Horb wird dieses historische Ereignis nachgespielt.
Die Nachkommen des Hans Caspar von Bubenhofen ist die einzige Linie der Familie von Bubenhofen die bis zu ihrem Aussterben im Jahr 1814 weiterblühte. Wolf II von Bubenhofen starb 1535/(40).
Konrad II von Bubenhofen erreichte 1471/72 für Grosselfingen die Loslösung der Kaplanei Grosselfingen von der Mutterkirche in Weilheim und die Gründung einer eigenen Pfarrei. Die Kinder des Konrad II von Bubenhofen, Hans Heinrich, Veit, Matthäus und Appolonia von Bubenhofen erbten bei dessen Tod 1478 die Herrschaft Hainburg und die Herrschaft Leinstetten und Lichtenfels. Vormund der noch nicht volljährigen Kinder war bis zu seinem Tod 1481 der Landhofmeister Hans von Bubenhofen. Folgend wurde Hans Heinrich von Bubenhofen Vormund seiner Geschwister bis zu deren Volljährigkeit. Veit erhielt danach die Herrschaften Leinstetten/ Lichtenfels und Hans Heinrich die Herrschaft Grosselfingen. Appolonia heiratete Wendel von Halfingen. Matthäus wurde Kleriker und brachte es bis zum Domdekan des Bistum Konstanz, eines der größten Bistümer der Zeit.
Hans Heinrich von Bubenhofen erhielt von König Maximilian I dem späteren Kaiser zwei sehr bedeutende und außergewöhnliche Privilegien für seinen Residenzort Grosselfingen. Am 25.07.1505 wurde ihm auf dem Reichstag in Köln das Marktrecht und am 29.07.1505 die Hochgerichtsbarkeit für Grosselfingen verliehen. Damit fehlte für Grosselfingen nur noch das Recht zur Befestigung damit es Stadt geworden wäre.
Die Familie der Herren von Bubenhofen zählten in jener Zeit zu den reichsten und solventesten Familien Süddeutschlands. Die Anlage des erhaltenswerten historischen Marktplatzes von Grosselfingen, der in weitem Umkreis einzigartig ist, stammt noch aus der Zeit des Hans Heinrich von Bubenhofen.