Полина, проведите свои границы, четко и явно. Просто экологично, без агрессии.
Я сама не выношу, когда меня заставляют додумывать, можно же просто сказать прямо, обнажить реальность, а не оставлять человека в иллюзиях.

И на вашем месте я бы сказала прямо, что общение в теущем формате меня напрягает, что я вообще не тяготею к общению, мне оно не особенно интересно, что я ценю положительные эмоции со стороны этого челоевка в мой адрес, но ответить тем же не могу, поэтому предпочитаю сохранять ту дистанцию, которая комфортна для меня. То есть, дистанцию, которая разделяет мало знакомых людей.

Вопрос лишь в том, как это наиболее корректно сформулировать. Отвержение все равно заденет, в любой форме - неявной или прямой. Но прямая форма - это хоть какое-то уважение к тому, кого отвергаешь.
А неявная - это попытка прикрыть свою задницу и избавиться от своих комплексов в виде чувства вины, которое непроработано и накрывает некоторых, когда они отстаивают свои границы.