Нам неизвестно каких либо других настроек внутри SQL Server, предназначенных для ограничения потребляемой оперативной памяти данной СУБД. В своей практике в целом не сталкивались с подобной ситуацией. Возможно кто либо из пользователей поделится успешным опытом ее решения.
После установки ограничений у вас должен был вырасти объём “кешированной” памяти, а общий обьём используемой памяти должен остаться прежним.
Отличие в том, что “кешированная” память освобождается мгновенно при необходимости, но MSSQL всё равно займёт/кеширует под себя всю память на компьютере.
В высоконагруженных системах следует выносить MSSQL на отдельный сервер.