Я думаю что это из-за отца. Говоря " Я не люблю тебя" он признает что любит но боится что своей любовью убьет её, что сломает также как и его отец сломал его ещё при этом веря что далал это во имя любви.
Мне показалось, что ту форму любви что он испытывает к ней, он не признаёт таковой. Вы верно подметили что всё из-за отца, т.к. он видел ту "любовь" что он ему дарил, и совершенно не хочет испытывать такое же чувство. Точнее он считает что это была не любовь. И если его чувства хотя бы чем-то напоминают ту "любовь", то, в его понимании, это не любовь вовсе. От того и фраза "я не люблю тебя". Думаю, он мог бы согласится больше с "я одержим тобой" или "я хочу обладать тобой", чем "я люблю тебя".