「遠慮して」で済まさずに、「これはお茶代で買ってるから」とくらい話すべきだろ。一方、「お茶代」でお菓子も買うことくらい想像できていいだろ。言葉と想像力が互いに足りない。