방명록

  1. 분석공부 2021.01.22 03:07  수정/삭제  댓글쓰기

    안녕하세요, 선생님.
    파이썬 공부를 위해 구글에 검색을 하면 백이면 백 다 선생님 홈페이지가 나옵니다.
    정말 큰 도움을 받아 개인 프로젝트 3개를 완료하였습니다.
    한 번도 뵌 적이 없지만 정보를 볼 때마다 감사한 마음이 들어 안부 인사 드립니다.
    포스팅을 보면, 도대체 어떤 분일까, 대단하시다고 늘 생각합니다.^^
    저도 선생님 같은 사람이 되고 싶습니다.
    새해 복 많이 받으세요! 항상 감사합니다!

    • R Friend Rfriend 2021.01.23 17:45 신고  수정/삭제

      안녕하세요.

      프로젝트 3개를 완료하셨다니 축하드립니다. 프로젝트 끝내고 나면 정말 뿌뜻하고 기분 좋지요. ^__^

      블로그 좋게 봐주셔서 감사합니다.

      새해에 건강하시고, 복 많이 받으세요!

  2. 이민규 2020.12.28 01:47  수정/삭제  댓글쓰기

    선생님 실례를 무릅쓰고 방명록에 문의드린 부분에 대해 상세히 설명해 주셔서 감사드립니다!
    많은 도움이 되고 있습니다. 항상 건승하시기 바랍니다!

    • R Friend Rfriend 2020.12.28 15:39 신고  수정/삭제

      안녕하세요 이민규님,
      답변이 도움이 되었다니 다행입니다.

      Tistory 모바일앱의 경우 방명록에 쓴 글은 알림 서비스를 해주지 않고 있습니다. (아무래도 버그인듯 합니다.)

      그러다 보니 방명록의 경우 일주일에 한번 정도 포스팅하려고 컴퓨터에서 로그인할 때 새로운 방명록 글을 확인하곤 합니다. (직장인이라 컴퓨터로 자주 로그인 못하고 있어요)

      따라서 나중에 질문이 있으시면 Tistory 포스팅 관련 글의 댓글 란에 질문을 올려주시면, 제가 모바일 앱의 댓글 알림을 보고 그 날 저녁에 퇴근 후에 답변 달아드릴 수 있습니다.

      한해 마무리 잘 하시고, 건강하시구요.

  3. KHC 2020.12.18 10:48  수정/삭제  댓글쓰기

    안녕하세요.

    고마운 마음이 많이 들어서 몇 자 적습니다.
    한동안은 R 관련하여 많은 도움을 받았고,
    현재는 python도 많은 도움을 받고 있습니다.
    님께서 많은 시간과 투자한 이 블로그 덕에
    저를 포함한 많은 분들이 큰 도움을 받고 있습니다.

    그리고 어떤분인지 궁금해서,
    세상보기와 독서일기도 찬찬히 읽어보고 있습니다.

    연말에 하시는 일 마무리 잘 하시고,
    무엇보다 건강 관리 잘 하십시오 ^^~

    감사드립니다.

    • R Friend Rfriend 2020.12.18 19:00 신고  수정/삭제

      안녕하세요 KHC님,
      반갑습니다.

      방명록에 따뜻한 글 남겨주셔서 감사합니다. 블로그 포스팅을 꾸준히 해야겠다는 다짐을 해보게 되네요.

      연말 마무리 잘 하시고, 또 건강하시구요. :-)

  4. Est. 2020.12.09 17:45  수정/삭제  댓글쓰기

    안녕하세요 선생님. 몇해 전 아무런 기초가 없는 상태에서 무작정 R을 독학해야했던 시기가 있었는데, 그때 선생님 블로그에서 많이 배울 수 있었습니다. 초보자도 따라갈 수 있게 자세히 설명해주셔서 큰 도움을 받았습니다. 시간이 흘러 지금은 파이썬 공부 중인데 구글링하다보니 또 선생님 블로그에 흘러들어오게 되어 반가움에 짧은 글 남겨봅니다. 이번에도 많은 도움 받아갑니다 감사합니다.

    • R Friend Rfriend 2020.12.10 00:27 신고  수정/삭제

      안녕하세요.

      R과 Python으로 같이 데이터분석하는 사람으로서 반갑습니다. 그리고 방명록에 글 남겨주셔서 감사합니다.

      포스팅하는데 시간이 많이 걸려서 주말에 컴퓨터 앞에 오래 앉아있다보면 가족들에게 원성을 좀 받고는 하는데요, 그래도 이런 방명록 글을 보면 보람을 느낍니다.

      코로나 조심하시고, 한해 마무리 잘 하시길 바래요.

  5. 이민규 2020.12.04 17:15  수정/삭제  댓글쓰기

    선생님 안녕하세요 R을 실무에서 사용하고 있는 초보자입니다. 블로그 보고 많이 배우고 있습니다. 어디에 물어볼곳도 없고 책에도 안나와서 죄송스럽지만 글 남기게 되었습니다.
    대용량 데이터를 R에 올려서 작업을 하고 있는데요, 원본 csv파일을 readr패키지의 read_csv로 불러오면 원본데이터 일부가 누락되어 나옵니다. 그런데 read.csv 함수를 이용하면 원본데이터가 정상적으로 올라옵니다. read_csv 함수를 이용하여 누락없이 호출하는 방법을 도무지 찾아봐도 안나와서 선생님께 질문드립니다. 정말 죄송하지만 지도해주시면 감사하겠습니다.

    에러메세지는 다음과 같이 뜹니다~

    경고: 75744 parsing failures.
    row col expected actual file
    215 summary delimiter or quote , 'C:/Users/MAIN/BigDataDownload/CHANNEL_2020-11-01.csv'
    215 summary delimiter or quote <eb> 'C:/Users/MAIN/BigDataDownload/CHANNEL_2020-11-01.csv'
    215 summary delimiter or quote 'C:/Users/MAIN/BigDataDownload/CHANNEL_2020-11-01.csv'
    215 summary delimiter or quote <ec> 'C:/Users/MAIN/BigDataDownload/CHANNEL_2020-11-01.csv'
    215 summary delimiter or quote 'C:/Users/MAIN/BigDataDownload/CHANNEL_2020-11-01.csv'
    ... ....... .................. ...... ......................................................
    See problems(...) for more details.

    • R Friend Rfriend 2020.12.10 00:25 신고  수정/삭제

      안녕하세요.

      제가 방명록에 글 남겨주신것을 오늘에서야 확인했습니다. Tistory 모바일앱이 댓글 알림만 해주고 방명록 알림은 안해줘서 그동안 몰랐습니다.

      에러 메시지만 봐서는 delimeter 나 quote 를 파싱하는데 있어 에러가 난 듯 한데요, 파일을 열어보지 않는 이상 정확하게 원인이 무엇인지 모르겠네요.

      75744개 파싱 에러가 난 것을 보면 대부분의 파일에 파싱에러가 발생한 듯 한데요, 여러개 파일 중에서 한개 파일(가령, "CHANNEL_2020-11-01.csv")을 열어보고 눈으로 직접 delimiter 또는 quote 상에 뭔가 문제가 없는지 확인해보는게 좋겠습니다.

      아니면 콜솔창에 problems(...) 라고 입력하고 엔터치면 상세 문제를 출력해주지 않을까 싶기도 한데요.

      data.table fread() 함수를 사용해서 대용량 데이터를 빠르게 읽어올 수 있는데요, 아래의 3개 포스팅 참고해보시기 바랍니다.

      https://rfriend.tistory.com/563
      https://rfriend.tistory.com/337
      https://rfriend.tistory.com/302

  6. spark93 2020.11.30 16:41 신고  수정/삭제  댓글쓰기

    선생님 안녕하세요, 건강하시지요? 항상 글 잘 보고 많은 것을 배우고 있습니다. 저번에 여쭈어보고 큰 도움을 받은 후에 궁금증이 생겨 또 여쭈어보고자 글을 남기게 되었습니다..!
    R 프로그램을 사용하면서 random forest를 돌리고 있는데요, random forest 돌릴 때 프로세스가 진행되는 단계그래프 같은걸 만들고 싶은데.. 방법을 모르겠더라구요 ㅠㅠ 클립영상같은걸로 만들어보고 싶어서요. progress_bar 같은 명령어는 보긴 했는데 여전히 모델이 돌아가는 단계에 따라 프로세싱 바가 진행되는 건 어떻게 만드는 지 모르겠습니다.... 선생님 글 중에서 python인가 keras에서 돌아가는 model.fit() 같은 명령어는 봤는데 ,R에서는 방법을 모르겠네요 ㅠㅠ
    혹시 알고 계시다면 알려주시면 정말 감사하겠습니다!
    요즘 코로나가 기승을 부리는데, 건강조심하시고 좋은 글 더 부탁드립니다!!

    • R Friend Rfriend 2020.11.30 19:25 신고  수정/삭제

      안녕하세요 spark93님,

      R의 random forest 패키지의 do.trace 옵션을 사용해보시기 바랍니다.

      do.trace=TRUE 또는
      do.trance=integer (로그를 콘솔에 남기기 원하는 간격)
      의 형식으로 입력해주시면 됩니다.

      아래 예시 코드는 ntree=10000 으로 해놓고, 1000회 별로 콘솔에 로그를 남기게 됩니다.

      library("randomForest")
      set.seed(1)

      rf = randomForest(Species~., data=iris,
      ntree=10000,
      proximity=T,
      do.trace=1000) # <--- 추가


      ntree OOB 1 2 3
      1000: 4.67% 0.00% 6.00% 8.00%
      2000: 4.00% 0.00% 6.00% 6.00%
      3000: 4.00% 0.00% 6.00% 6.00%
      4000: 4.00% 0.00% 6.00% 6.00%
      5000: 4.00% 0.00% 6.00% 6.00%
      6000: 4.00% 0.00% 6.00% 6.00%
      7000: 4.00% 0.00% 6.00% 6.00%
      8000: 4.00% 0.00% 6.00% 6.00%
      9000: 4.67% 0.00% 6.00% 8.00%
      10000: 4.67% 0.00% 6.00% 8.00%


      ##-------------
      for loop 순환반복문에서 progress bar 출력하는 방법은 progress 패키지 튜토리얼인 https://cran.r-project.org/web/packages/progress/progress.pdf 를 참고하세요.

      ##-------------
      Python 에서 콘솔에 progress bar 출력하는 방법은 https://rfriend.tistory.com/455 를 참고하세요.

    • spark93 2020.12.01 14:39 신고  수정/삭제

      선생님, 빠른 답장 정말 감사드립니다! 혹시 random forest는 저렇게 tree 수대로 로그를 남기는것밖에 방법이 없나요? 8_8 [====---------] 40% 이런식으로 나타내고 싶은데..
      부끄럽게도 R 너무 초짜라서 질문이 초보적인 수준이네요 ㅠㅠ random forest를 for loop로 만든다거나...할수는 없을 것 같고.. 지식적으로나 창의적으로나 많이 부족하네요 ㅠㅠ 혹시라도 Progress bar를 random forest 진행에 따라서도 그릴 수 있는 방법을 아신다면 조언 부탁드립니다.!

    • R Friend Rfriend 2020.12.01 19:30 신고  수정/삭제

      안녕하세요.

      ranfom forest에서 progress bar 형식으로 진척율 표시하는 방법은 저도 모르겠네요. 죄송합니다. ^^;

  7. DayGo 2020.11.30 15:52 신고  수정/삭제  댓글쓰기

    정말 도움을 많이 받고 있습니다. 카드사에서 sas로만 데이터분석을 15년 해오다가 최근 증권사로 이직했습니다. 여기는 파이썬을 집중적으로 활용하고 있는 초보단계라 저도 배워야하는 입장인데요^^ 파이썬이라는 툴로 전환하기가 쉽지만은 않네요!^^ 필요한 기능을 찾아볼때마다 선생님 블로그가 계속 검색되서 정말 정독하고공부할 내용이 너무 많은 것 같습니다. 정말 알차게 잘 정리해놓으시고 너무 큰 도움이 됩니다.^^ 계속해서 방문 드리겠습니다.

    • R Friend Rfriend 2020.11.30 16:30 신고  수정/삭제

      안녕하세요 DayGo 님,
      반갑습니다.

      저도 대학교 다닐 때 통계학 시간에 처음으로 SAS 접하고 사회초년생때 6년 정도 SAS로 분석업무를 했었습니다. 그러다가 R, Python으로 바꾸면서 고생을 좀 했었는데요, 제 블로그가 R, Python 사용하시는 분들에게 조금이나마 도움이 된다니 보람이 있네요.

      방명록에 따뜻한 글 남겨주셔서 감사합니다. :-)

    • 2021.01.31 16:50  수정/삭제

      비밀댓글입니다

  8. dbnoid 2020.11.20 14:07  수정/삭제  댓글쓰기

    안녕하세요? Pandas관련 검색하다가 선생님의 블로그를 보게되었습니다.
    "Python 분석과 프로그래밍" 부분을 정독 해야겠다고 생각되네요...
    예전 오라클 사용, SAP ABAP프로그램을 짜다가 생뚱맞게 데이터분석업무를 시작하고 있습니다.
    많은 도움 얻을 수 있을거 같아 미리 감사인사 드립니다.

    각 카테고로 별로 리스트 전체를 볼수 있는 목록기능이 있으면 좋을거 같습니다.^^
    건승하십시요

    • R Friend Rfriend 2020.11.20 14:24 신고  수정/삭제

      안녕하세요 dbnoid님, 반갑습니다

      블로그 좋게 봐주셔서 감사합니다.
      데이터분석 업무를 시작하셨다니 축하드려요. 앞으로 많은 재미가 기다리고 있을거예요.

  9. 야메스 2020.11.08 13:19 신고  수정/삭제  댓글쓰기

    안녕하세요. 우연히 검색하다가 제가 생각하는 방식과 비슷하게 세상을 그려보는 분들이 계신 것 같아서 반가운 마음에 휴면계정을 풀고 글을 남겨 봅니다. 계속해서 좋은 글, 생각들 나눔 부탁드려요. 감사합니다.^^

    • R Friend Rfriend 2020.11.11 19:03 신고  수정/삭제

      안녕하세요 야메스님,
      반갑습니다.

      방명록에 따뜻한 글 남겨주셔서 고맙습니다. 힘이 나네요. ^^

  10. Cindy Kim 2020.11.07 14:42  수정/삭제  댓글쓰기

    안녕하세요, 미국에서 데이터사이언스 대학원다니고 있는 한국인입니다. ^^
    R 수업 과제 관련해서 검색중에 선생님 블로그를 알게되었구요,
    미국 친구들은 너무 사설이 길어서 보다가 지치는데,
    정말 깔끔하고 이해하기 편리하게 정리해 주시고, 예문도 곁들여 주셔서 큰도움 받고 갑니다.
    공부가 이제 시작이라 너무 막막하지만 이렇게 정리해 주시고 도움주시는 분들 덕택에 힘내서
    다시 열심히 해보겠습니다.
    Python 도 다음학기부터 시작인데 앞으로도 많은 도움 받을것 같아서 미리 감사드립니다.
    한국 날씨 추워진다는데 건강유의하시고, 앞으로도 많은 강의 기대하고 감사드립니다.

    감사합니다.

    • R Friend Rfriend 2020.11.11 19:02 신고  수정/삭제

      안녕하세요 Cindy Kim님,
      반갑습니다.

      미국 대학원에서 데이터사이언스 공부 중이시라니 응원해드리고 싶네요.

      블로그 좋게 봐주셔서 감사합니다.
      최근에 회사일이 너무 바빠서 요며칠 포스팅을 못하고 있었는데요, 좀더 힘내서 다시 포스팅해봐야겠습니다.