책마다 유도과정이 다 다르기 때문에 세세한 미지수의 방향과 설정에 따라 부호가 차이가 날 수 있습니다.
하지만 결과값은 동일해야 할텐데요.
Displacement Transmissibility 가 같은 것으로 보아 제 풀이나 책의 풀이나 크게 문제는 없어 보입니다.
질문하신 글의 내용이 정확히 이해가 어렵다는 문제가 있지만 제가 사진에 표시한대로 위에 것이 책의 풀이, 아래의 것이 제 풀이인 것 같습니다.
그런데 둘을 비교하실 때 각도2, 각도3이 다른 상태에서 비교하시면 부호차이가 당연히 생길 것 같습니다. 이건 삼각함수의 특성에서 기인한 것이죠.
만약에 각도2로만 해주면 삼각함수 공식에 의해 똑같이 유도가 되는 것을 확인할 수 있겠습니다.

제가 질문을 제대로 이해한 것인지는 모르겠는데요.
혹시라도 잘못 이해했다면 다시 알려주시면 감사하겠습니다!