Это уже вам решать. Зависит от того, какие границы вы хотите установить, на какие действия готовы.
Вами много манипулируют ("вы плохие" и т.д. - тоже из этой области), хорошо бы научиться это вовремя распознавать, чтобы не поддаваться на манипуляции и провокации.
Не помню, советовали ли вам почитать книгу Сьюзен Форвард "Токсичные родители", но, по-моему, вам это действительно было бы сейчас полезно. Там разобрано много конкретных ситуаций, описано, что надо понять страдающему от таких отношений, показано, как можно действовать. В сети много "кратких изложений", но вам нужен именно полный вариант книги.
Дальше напишу, как я реагировала в подобных ситуациях, но у меня в роли "родителя" выступала не мать, не было длительных сложившихся отношений, потому мне было значительно проще.
Соглашалась бы: да, плохие, да, нельзя, а потому и не нужно. Менять можно всё, что неудобно.
Если речь о вашем доме, то вы имеете это право юридически. Вы обе взрослые, то, что она ваша мать, не делает ее вашим собственником, как и собственником вашего жилья. "Когда хочу, тогда прихожу": придя ночью в гастроном, она говорит так же?
Вам наверняка много сил понадобится, не лишним будет рассчитывать силы. Хорошо, если рядом кто-то вас поддержит (муж? подруга?). Желаю вам всё это выдержать, это нужно и для ребенка.
На самом деле в таких отношениях все стороны страдают, жаль, что часто родители не могут на всё это "посмотреть со стороны".