1748 wurde nach einem Entwurf Alessandro Galli da Bibienas mit dem Bau des nördlichen Zirkelbaus als Orangeriegebäude begonnen. Nach dessen Tod vollendete Guillaume d'Hauberat 1750 den Bau im Sinn französischer Architektur. Mit der Planung des Zirkelbaus war der Umfang des Zirkels, dessen Mittgelpunkt auf die Achse durch Schloss, Stadt und Park zu liegen kam, festgelegt, offen war allein die Ausrichtung.
1753 wurde unter Leitung von Nicolas de Pigage mit dem Bau des südlichen Zirkelhauses begonnen, mit dem die Neubaupläne auf die Ost-West-Achse festgelegt wurden, während vorher noch eine Ausrichtung auf die Achse zur Mannheimer Residenz im Gespäch war.