Das Hegau-Museum befindet sich in den historischen Räumen des Singener Schlosses, auch bekannt als Oberes Schloss oder Enzenberg'sches Schloss. Ursprünglich stand an diesem Ort ein Amtshaus aus dem 16. Jahrhundert, das dem Singener Obervogt als Sitz diente. Das Gebäude wurde jedoch im Dreißigjährigen Krieg zerstört und vor 1660 durch einen Neubau ersetzt.
1807 beauftragte Graf Franz Joseph von Enzenberg den Stadtbaumeister Hans Konrad II. Vogler mit der Planung eines neuen Schlossbaus. Das heutige Schloss, ein beeindruckendes dreistöckiges Gebäude mit Mansardendach, wurde 1809 fertiggestellt und integriert Teile des alten Amtshauses. Zum Schlossgelände gehören heute noch eine historische Remise und der malerische Schlossgarten im englischen Stil sowie der Teepavillon im japanischen Stil.