지금 사용자가 input text에 url을 입력하고 저장 버튼을 누르면,

해당 사용자가 저장한 글에, 사용자가 입력한 메타 태그의 이미지와 컨텐츠글을 가져와서 서버에 저장하려는 기능을 구현하려고 합니다.

그런데, 제가 실력이 모자라서인지 개념이 부족해서인지 제대로 스크래핑이 안됩니다. 주로 스크래핑할 서비스들은 SNS들인데, curl로 단순히 전체 html을 긁어오려고 해도 긁어오지를 못하고 오픈 소스라이브러리를 활요하는데도 잘 안됩니다.

구글링을 하니, 특정 사이트들은 봇체크를 해서 접속 정보를 추가적으로 설정햐 줘야 한대서 하였지만, 그래도 되지 않습니다.

다른 분들은 스크래핑을 어떻게 구현하셨나요?

감사합니다.