Gegenüber dem Steinhaus befindet sich ein Haus, das ebenfalls zu den historisch bedeutsamsten in Nagold zählt.

Für die Sozial- und Kulturgeschichte hat es eine besondere Bedeutung, denn seit dem 14. Jahrhundert wurde es als „Badtstub", als städtisches Badehaus benutzt und war somit der Treffpunkt früherer Geselligkeit in Nagold und das Zentrum für Hygiene und Medizin. Ab 1841 war es das Wohnhaus des Apothekers, Naturforschers und Schriftstellers Dr. Gottlieb Heinrich Zeller. Als Mörike 1862 bei Zeller zu Besuch war, hielt er den Blick zum Schlossberg in einem Brief fest. 

Seit 1905 befindet sich im ehemaligen Badhaus die Stadtkämmerei.