так и сказать - что "вряд ли в обозримом будущем у меня найдется для тебя время".
По вкусу - "но было интересно" - если действительно было :)
"у нас разные интересы", "мы слишком разные" в конце концов.
Если не дурак - поймет, и не обидится. Если дурак - так Вы точно не виноваты :)