Hi Zane,

It is not really wrong, the use of 's'en aller' here makes the sentence very heavy and clumsy.

I would suggest -

Je suis désolée qu'ils soient partis sans que l'on puisse leur dire au revoir

Hope this helps!