ハッキリお断りする、少なくとも「今は忙しいので、落ち着いたらまた連絡します。」とか少しでも可能性を残させる言い方はしないことですかね。この件は「もう会えません。」と書いていますが。