Tranquilo mi pana, si tienes el libro de familia se supone que no debe haber problemas, no necesitas carta de invitacion (que por cierto si tienes que pagar poco mas de 100 Euros dependiendo de donde la pidas)
De todos modos te recomiendo pases por el consulado a ver si tienes todo en regla porque segun tengo entendido solo con mostrar el pasaporte y el libro de familia en inmigracion cuando estes entrando a España no pueden decirte nada, pero lei por este foro que ahora estan pidiendo un papel mas referente al matrimonio a ver si aun sigues casado, osea como un papel mas actual mostrando que sigues casado.