ÂÀ×ܵÄ×ÊÔ´Ö®ËùÒÔ±¸ÊÜÍÆ³ç£¬Ö÷ÒªÓÐÒÔϼ¸¸öÔÒò£º
¸ßÖÊÁ¿µÄӰƬ£ºÂÀ×ÜÑÏѡӰƬ£¬È·±£Ã¿Ò»²¿×ÊÔ´¶¼¾¹ý¸ßÖÊÁ¿µÄ´¦Àí£¬»ÖʺÍÒôÖʶ¼´ïµ½Á˽ϸߵıê×¼¡£×ÊÔ´·á¸»£º´Ó¾µäÀÏÆ¬µ½×îÐÂÉÏÓ³£¬¼¸ºõº¸ÇÁËËùÓÐÀàÐ͵ÄÓ°ÊÓ×ÊÔ´¡£·ÖÏí¾«Éñ£ºÂÀ×ÜÒ»Ö±ÒÔÀ´¶¼ÓÐÒ»ÖÖ·ÖÏí¾«Éñ£¬Ï£Íûͨ¹ý×Ô¼ºµÄ·ÖÏíÄܹ»Èøü¶àÈËÏíÊܵ½ÓÅÖʵÄÓ°ÊÓ×ÊÔ´¡£
ÈçºÎʹÓÃÌáÈ¡Âë·ÃÎÊ×ÊÔ´
»ñÈ¡ÌáÈ¡Â룺ͨ³£ÌáÈ¡Âë»áͨ¹ý¸÷ÖÖÉ罻ƽ̨¡¢ÂÛ̳»òÕßÓʼþµÈÐÎʽ·¢²¼¡£Äú¿ÉÒÔ¹Ø×¢Ïà¹ØµÄÌÖÂÛ×é»òÕ߯µµÀ£¬ÒԱ㼰ʱ»ñÈ¡×îеÄÌáÈ¡Âë¡£·ÃÎʰٶÈÍøÅÌ£º´ò¿ª°Ù¶ÈÍøÅ̵Ĺٷ½ÍøÕ¾£¬½øÐеǼ¡£Èç¹ûÄú»¹Ã»ÓÐÕ˺ţ¬¿ÉÒÔͨ¹ýÊÖ»úºÅ»òÕßÓÊÏä½øÐÐ×¢²á¡£ÊäÈëÌáÈ¡Â룺ÔÚ°Ù¶ÈÍøÅ̵ÄÍøÒ³ÉÏ£¬ÕÒµ½ÌáÈ¡ÂëÊäÈë¿ò£¬ÊäÈë¸Õ¸Õ»ñÈ¡µ½µÄÌáÈ¡Âë¡£
ÏÂÔØ×ÊÔ´£ºÌáÈ¡ÂëÊäÈëÕýÈ·ºó£¬Äú¾Í¿ÉÒÔ¿´µ½ÂÀ×Ü·ÖÏíµÄ×ÊÔ´Îļþ¼Ð£¬µã»÷½øÈë¼´¿É¿ªÊ¼ÏÂÔØ¡£
ÕÅÂÉÓ壺´´ÒâÓë÷ÈÁ¦µÄ½áºÏ
ÕÅÂÉÓåÊǶ¶ÒôСʱ±¨µÄ?һλÖ÷Òª´´×÷Õߣ¬ËýµÄÊÓÆµÄÚÈݺ¸ÇÁËʱÉС¢Éú»î¡¢ÓéÀֵȶà¸öÁìÓò¡£ËýµÄ÷ÈÁ¦²»½öÔÚÓÚËý³öÉ«µÄ±íÑݺʹ´Ò⣬¸üÔÚÓÚËý¶ÔÉú»îµÄÈȰ®ºÍ¶ÔÊÀ½çµÄ¶ÀÌØ¼û½â¡£ËýµÄÌáÈ¡Âë³ÉΪÁËÐí¶à·ÛË¿»ñÈ¡¶À¼ÒÄÚÈݺÍÓŻݵÄÖØÒªÍ¾¾¶¡£µ«?ÊÇ£¬±³ºóÒþ²ØµÄÃØÃÜÈÃÈËÃǶÔËýµÄÕæÊµÃæÃ²²úÉúÁ˸ü¶àµÄ?ºÃÆæ¡£
´´ÐÂÓë¶ÀÌØÐÔ£º³É¹¦µÄ¹Ø¼ü
ÕÅÂÉÓåºÍÂÀ×ܵijɹ¦ºÜ´ó³Ì¶ÈÉϵÃ?ÒæÓÚËûÃÇÔÚÄÚÈÝ´´ÒâºÍ¶ÀÌØÐÔ·½ÃæµÄÍ»³ö±íÏÖ¡£ÕÅÂÉÓåͨ¹ý¶ÔÈÕ³£Éú»îµÄ¹Û²ìºÍ˼¿¼£¬ÌáÁ¶³öÐí¶àÓÐȤÇÒ¸»Óд´ÒâµÄÄÚÈÝ¡£ÕâЩÄÚÈݲ»½öÄܹ»ÎüÒý¹ÛÖÚ£¬»¹Äܹ»ÔÚÒ»¶¨³Ì¶ÈÉÏ·´Ó³ËýµÄ¸öÐÔºÍ˼Ïë¡£ÕâÖÖ´´ÐºͶÀÌØÐÔʹµÃËýµÄÌáÈ¡ÂëÔÚ·ÛË¿ÖйãÊÜ»¶Ó¡£
ÂÀ×ÜÔòͨ¹ý¶ÔÊг¡µÄÉîÈë·ÖÎöºÍ¶ÔÇ÷ÊÆµÄÃôÈñ²¶×½£¬Öƶ¨ÁËһϵÁгɹ¦µÄÔËÓª²ßÂÔ¡£ËûµÄ?ÄÚÈÝÉæ¼°ÉÌÒµ·ÖÎö¡¢Êг¡Ç÷ÊÆºÍͶ×ʽ¨Ò飬ÕâЩÄÚÈݲ»½ö¾ßÓÐʵÓÃÐÔ£¬»¹Äܹ»ÎüÒýÌØ¶¨µÄ¹ÛÖÚȺÌå¡£ÕâÖÖ¶ÔÊг¡ºÍ¹ÛÖÚÐèÇóµÄ¾«×¼°ÑÎÕ£¬Ê¹µÃËûµÄÌáÈ¡ÂëÔÚÉÌÒµÁìÓò»ñµÃÁ˹㷺µÄÈϿɺÍʹÓá£
ÌáÈ¡ÂëµÄÆØ¹âÓëÕùÒé
ÕÅÂÉÓåºÍÂÀ×ܵÄÌáÈ¡ÂëÔÚ¶¶Òôƽ̨ÉÏÆµ·±ÆØ¹â£¬ÎüÒýÁË´óÁ¿·ÛË¿ºÍµÚÈý·½Æ½Ì¨µÄ¹Ø×¢¡£ÕâЩÌáÈ¡Âëͨ³£±»ÓÃÀ´»ñÈ¡¶À¼ÒÄÚÈÝ¡¢ÌØ»ÝºÍÆäËû¸£Àû¡£Ëæ×ÅÌáÈ¡ÂëµÄ¹ã·º´«²¥£¬Ò²Òý·¢ÁËһЩÕùÒ顣һЩÈËÖÊÒÉÕâЩÌáÈ¡ÂëÊÇ·ñÕæµÄÄÜ´øÀ´ÕæÕýµÄ¼ÛÖµ£¬»¹ÊÇÖ»ÊÇΪÁËÎüÒý¸ü¶àµÄ·ÛË¿ºÍÉÌÒµ»ú»á¶øÉèÖõÄÏÝÚå¡£
ÔÙÕߣ¬Õâ¸öʼþÒ²Òý·¢Á˶ÔÐÅÏ¢°²È«ºÍÒþ˽±£»¤µÄ¸üÉî²ã´Î˼¿¼¡£ÎÒÃDz»½öÒª¹Ø×¢Ê¼þ±¾Éí£¬¸üÒª·´Ë¼ÎÒÃÇÉú»îÔÚÒ»¸öÐÅÏ¢»¯Éç»á£¬ÈçºÎ¸üºÃµØ±£»¤¸öÈËÒþ˽ºÍÉÌÒµÐÅÏ¢µÄ°²È«¡£Õâ²»½öÊǼ¼ÊõÎÊÌ⣬¸üÊÇÖÆ¶ÈºÍ·¨ÂÉÎÊÌâ¡£
ͨ¹ýÒÔÉÏ·ÖÎö£¬ÎÒÃÇ¿ÉÒÔ¿´³ö£¬ÕÅÂÉÓåºÍÂÀ×ÜÌáÈ¡ÂëµÄÆØ¹âʼþ£¬²»½ö½öÊÇÒ»¸ö¼òµ¥µÄÉÌÒµ¾À·×£¬¸üÊǽÒʾÁËÎÒÃÇÉç»áÔÚÐÅÏ¢°²È«¡¢·¨Âɱ£»¤ºÍÖÆ¶È½¨ÉèµÈ·½ÃæµÄһϵÁÐÎÊÌâ¡£Òò´Ë£¬ÎÒÃÇÐèÒª´Ó¶à·½Ãæ½øÐÐ̽ÌÖ£¬ÒÔÆÚΪδÀ´µÄ·¢Õ¹ÌṩÓÐÒæµÄ½è¼øºÍ˼¿¼¡£
ÔÚµÚÒ»²¿·ÖµÄ·ÖÎöÖУ¬ÎÒÃÇÒѾ³õ²½Á˽âÁËÕÅÂÉÓåºÍÂÀ×ÜÌáÈ¡ÂëÆØ¹âʼþµÄ±³¾°ºÍÓ°Ïì¡£ÔÚÕâÒ»²¿·Ö£¬ÎÒÃǽ«½øÒ»²½ÉîÈë̽ÌÖʼþ±³ºóµÄÒþ²Ø?ÃØÃÜ£¬²¢´Ó¸ü¶à½Ç¶È½øÐзÖÎö£¬ÒÔÆÚΪ¶ÁÕßÌṩ¸üÈ«ÃæµÄÀí½â¡£
ÎÒÃÇÐèҪ̽ÌÖʼþµÄ¾ßÌåϸ½Ú¡£ÌáÈ¡ÂëµÄÆØ¹â£¬¾¿¾¹Éæ¼°ÁËÄÄЩÃô¸ÐÐÅÏ¢£¿ÕâЩÐÅÏ¢µÄй¶£¬¶ÔÏà¹Ø·½µÄÓ°ÏìÓжà´ó£¿´Ó¼¼Êõ½Ç¶È¿´£¬ÌáÈ¡ÂëµÄ»ñÈ¡ºÍÆØ¹â£¬ÊÇ·ñ´æÔÚ¼¼Êõ©¶´£¿ÕâЩÎÊÌâ¶¼ÊÇÎÒÃÇÐèÒªÉîÈë̽Ìֵġ£
ʾÀý£º²¢Ðд¦?ÀíÌáÈ¡Êý¾Ý
importpandasaspdimportmultiprocessingdefextract_data(chunk):#Êý¾Ý´¦ÀíÂß¼returnchunk#¶ÁÈ¡ÔʼÊý¾Ýdata=pd.read_csv('raw_data.csv')#Êý¾Ý·Ö¿échunks=datai:i+1000foriinrange(0,len(data),1000)#²¢Ðд¦Àípool=multiprocessing.Pool(processes=4)results=pool.map(extract_data,chunks)#ºÏ²¢?½á¹ûfinal_data=pd.concat(results)final_data.to_csv('extracted_data.csv',index=False)print("²¢ÐÐÌáÈ¡Íê³É")
½Ò¿ªÄ»ºóÕæÏà
ͨ¹ý¶ÔÕÅÂÉÓåºÍÂÀ×ÜÌáÈ¡Âë±³ºóÒþ²ØµÄÃØÃܵÄ̽ÌÖ£¬ÎÒÃÇ¿ÉÒÔ¿´µ½£¬ËûÃǵijɹ¦²»½ö½öÊǸöÈË÷ÈÁ¦ºÍ´´ÒâµÄ½á¹û£¬¸üÊÇËûÃÇÔÚÔËÓª²ßÂÔ¡¢ÉÌÒµ²Å»ªºÍÉç»áÔðÈη½ÃæµÄ×ÛºÏÌåÏÖ¡£ËûÃǵÄÌáÈ¡Âë³ÉΪÁËËûÃÇÓë·ÛË¿ºÍÉ̼һ¥¶¯µÄÖØÒª¹¤¾ß£¬Ò²ÊÇËûÃÇÔÚÉ罻ýÌåÆ½Ì¨ÉÏÈ¡µÃ?¾Þ´ó³É¹¦µÄÖØÒªÔÒò¡£
У¶Ô£º³ÂÑÅÁÕ(1C0m4pJyqZtPma0S7t9ZFfz4hTykKag)


