Не видя код трудно гадать.
Судя по рефлексии афтара по поводу ГК, моя догадка близка к истине.

видел злоупотребления полиморфизмом в C++, которые напрочь убивали производительность.
Ключевое слово - "зло". А однообразных кейсов, разбросанных по коду, я тоже видел немало.

ТС ведь борется за доли секунды.
Надеюсь, он это делает не наобум, а предварительно получив метрики и определив те 20% мест, где 80% тормозов? Чтобы не получилось как в известной истории про оптимизацию "бездействия системы".

who | grep -i blonde | date; cd ~; unzip; touch;
strip; finger; mount; gasp; yes; uptime; umount;