Теперь понятно.

Справа не летнее здание биржи, а беседка, хотя отдельные мотивы есть. Возможно причина в том, что в конце 19в был моден стиль т.н. "ропетовской архитектуры" - направления зодчества, использовавшего декоративные мотивы русской архитектуры XVII века.

Мне он тоже показался похожим на фонтан из театрального сквера, просто на том сайте - откуда я скачала это фото, указан был именно козий загон. Да и помещение справа очень напоминает летнее здание биржи.

Это не фонтан в "Козьем загоне". Это все тот же фонтан в сквере около театра, только с другого ракурса.
Согласно архивным данным, фонтан в саду Решетникова сначало имел вид вазы, а потом горки над которой возвышалась балерина. В 1985 г. на его месте была воздвигнута четырехфигурная скульптурная композиция - монумент героям гражданской войны.

Видимо раньше там коз пасли)

Почему он назывался «Козий садик»?