¹úÄÚÈÈÃÅsparkingʵ¼ùÊÓÆµ-24Сʱֱ²¥Êý¾Ý½ÒʾÈÈÃÅÇ÷ÊÆ¡¾ßÙÁ¨ßÙÁ¨

À´Ô´£ºÖ¤È¯Ê±±¨Íø×÷Õߣº
×ÖºÅ

ʲôÊÇSpark£¿

ApacheSparkÊÇÒ»¸ö¿ªÔ´µÄ¡¢ÓÃÓÚ´ó?Êý¾Ý´¦ÀíµÄ·Ö²¼?ʽ¼ÆËã¿ò¼Ü¡£ËüÌṩÁ˸ßЧµÄÄÚ´æ¼ÆËã¡¢¿ìËÙµÄSQL²éѯ¡¢»úÆ÷ѧϰºÍÁ÷ʽ´¦ÀíµÈ¹¦ÄÜ¡£SparkÒÔÆä¸ßЧµÄËÙ¶È¡¢·á¸»µÄAPIºÍÒ×ÓÃÐÔ¶ø¹ãÊÜ»¶Ó­¡£ÔÚ´óÊý¾Ý´¦ÀíµÄÓ¦ÓÃÖУ¬SparkÄܹ»ÏÔÖøÌá¸ßÊý¾Ý´¦ÀíµÄЧÂÊ¡£

µçÉÌÊý¾Ý·ÖÎö

µçÉÌÐÐÒµµÄÊý¾ÝÁ¿¾Þ´ó£¬Í¨¹ýSpark½øÐÐÊý¾Ý·ÖÎö¿ÉÒÔ°ïÖúÆóÒµÓÅ»¯ÔËÓª¡£ÖйúSparkʵ¼ùÍøÕ¾ÌṩÁËÒ»¸öÏêϸµÄµçÉÌÊý¾Ý·ÖÎöÏîÄ¿°¸Àý£º

Êý¾Ý²É¼¯£ºÍ¨¹ýSparkStreaming£¬ÊµÊ±²É¼¯Óû§ÐÐΪÊý¾Ý¡£Êý¾ÝÔ¤´¦Àí£ºÊ¹ÓÃSpark½øÐÐÊý¾ÝÇåÏ´ºÍ¸ñʽת»»¡£Êý¾Ý·ÖÎö£ºÊ¹ÓÃSparkSQLºÍDataFrame½øÐÐÊý¾Ý·ÖÎö£¬ÌáÈ¡Óû§¹ºÂòÐÐΪģʽ¡£½á¹ûչʾ£ºÊ¹ÓÿÉÊÓ»¯¹¤¾ßչʾ·ÖÎö½á¹û£¬°ïÖúÆóÒµÖÆ¶¨ÓªÏú²ßÂÔ¡£

ÖйúSparkʵ¼ùÍøÕ¾µÄÌØÉ«

ÖйúSparkʵ¼ùÍøÕ¾Ö¼ÔÚΪÓû§ÌṩһվʽµÄSpark¼¼Êõѧϰƽ̨£¬ÆäÌØÉ«ÈçÏ£º

È«ÃæµÄÊÓÆµ½Ì³Ì£ºÍøÕ¾ÌṩÁË´Ó»ù´¡µ½¸ß¼¶µÄSparkÊÓÆµ½Ì³Ì£¬º­¸ÇÁËSparkµÄ°²×°ÅäÖᢻù±¾²Ù×÷¡¢¸ß¼¶¹¦ÄܺÍʵսÏîÄ¿µÈÄÚÈÝ£¬°ïÖúÄúϵͳѧϰSpark¼¼Êõ¡£ÏêϸµÄ²Ù×÷²½Ö裺ÿ¸öÊÓÆµ½Ì³Ì¶¼¸½ÓÐÏêϸµÄ²Ù×÷²½Ö裬ÈÃÄú¿ÉÒÔ¸úËæ½Ì³Ì?½øÐÐʵ¼Ê²Ù×÷£¬Ìá¸ß¶¯ÊÖÄÜÁ¦¡£

ʵսÏîÄ¿£ºÍøÕ¾»¹ÌṩÁ˶à¸öʵսÏîÄ¿£¬°ïÖúÄú½«Ëùѧ֪ʶӦÓÃÓÚʵ¼Ê¹¤×÷ÖУ¬ÌáÉýʵ¼Ê²Ù×÷ÄÜÁ¦¡£ÉçÇøÖ§³Ö£ºÍøÕ¾ÓµÓлîÔ¾µÄÓû§ÉçÇø£¬Äú¿ÉÒÔÔÚÕâÀïÌá³öÎÊÌâ¡¢·ÖÏíÐĵã¬ÓëÆäËûѧϰÕߺÍר¼Ò»¥¶¯½»Á÷¡£

Sparkʵ¼ùÅÄ»÷ÊÓÆµÍøÕ¾Ð¡À¶ÄñµÄÊý¾Ý¶´²ì£¬Êǵ±Ç°Êý¾Ý·ÖÎöÁìÓòÖеÄÒ»ÏîÖØÒªÓ¦Óá£Ëæ×Å»¥ÁªÍøºÍ´óÊý¾Ý¼¼ÊõµÄ²»¶Ï·¢Õ¹£¬ÊÓÆµÍøÕ¾Ð¡À¶ÄñÔÚÓû§ÐÐΪÊý¾ÝµÄÊÕ¼¯ÉÏ´ïµ½ÁËеĸ߶È¡£Í¨¹ý¶ÔÕâЩÊý¾ÝµÄÉî¶È½âÎö£¬¿ÉÒÔ½ÒʾÓû§ÔÚ¹Û¿´ÊÓÆµ¹ý³ÌÖеÄÐÐΪģʽ£¬´Ó¶øÎªÓÅ»¯ÄÚÈÝÍÆ¼öºÍÌáÉýÓû§ÌåÑéÌṩÓÐÁ¦Ö§³Ö¡£

±¾ÎĽ«´ÓSparkʵ¼ù¡¢Êý¾Ý¶´²ì¡¢Óû§ÐÐΪ·ÖÎöÈý¸ö·½ÃæÈëÊÖ£¬Ì½ÌÖÈçºÎÓÐЧÀûÓÃÕâЩÊý¾Ý£¬ÌáÉýÊÓÆµÍøÕ¾µÄÕûÌåÔËӪЧÂÊ¡£

Spark×÷ΪһÖÖ¸ßЧµÄ´óÊý¾Ý´¦Àí¹¤¾ß£¬ÔÚÊÓÆµÍøÕ¾Ð¡À¶ÄñµÄÊý¾Ý·ÖÎöÖоßÓÐÖØÒª×÷Óá£SparkÄܹ»¿ìËÙ´¦Àíº£Á¿Êý¾Ý£¬²¢Ö§³Ö¸÷ÖÖ¸´ÔÓµÄÊý¾Ý·ÖÎöÈÎÎñ¡£ÀýÈ磬ͨ¹ýSparkµÄSQL¡¢MLlibµÈ?Ä£¿é£¬¿ÉÒÔ¶ÔÓû§µÄ?¹Û¿´ÀúÊ·¡¢µãÔÞ¡¢ÆÀÂÛµÈÐÐΪÊý¾Ý½øÐÐ×ۺϷÖÎö¡£

Õâ²»½ö¿ÉÒÔ°ïÖúÎÒÃÇÁ˽âÓû§µÄϲºÃºÍÐèÇ󣬻¹Äܹ»Ê¶±ð³öÓû§µÄÍ´µã£¬´Ó¶øÎª¸Ä½øÍøÕ¾¹¦ÄÜÌṩÊý¾ÝÖ§³Ö¡£

ʵʱ¼ÆËã¿ÉÒÔÏÔÖøÌáÉýÊý¾Ý·ÖÎöµÄËٶȺÍЧÂÊ¡£ÔÚ´«Í³µÄ?ÅúÁ¿´¦ÀíģʽÖУ¬Êý¾Ý·ÖÎöͨ³£ÐèÒªµÈ´ýÊý¾ÝµÄÊÕ¼¯ºÍ´¦ÀíÍê³É£¬Õâ¿ÉÄܵ¼ÖÂÒ»Ð©ÖØÒªµÄ¶´²ìºÍ¾ö²ß±»ÑÓ³Ù¡£¶øÍ¨¹ýʵʱ¼ÆË㣬¿ÉÒÔÔÚÊý¾ÝÒ»µ©µ½´ïϵͳʱ£¬¾ÍÁ¢¼´½øÐд¦ÀíºÍ·ÖÎö¡£ÕâÑù£¬ÊÓÆµÍøÕ¾Ð¡À¶Äñ¾Í¿ÉÒÔ¼°Ê±·¢ÏÖÓû§ÐÐΪµÄ±ä»¯£¬²¢?ѸËÙ×ö³öÏàÓ¦µÄµ÷Õû¡£

ÀýÈ磬µ±?ϵͳ¼ì²âµ½Ä³ÀàÊÓÆµÔÚÌØ¶¨Ê±¼ä¶ÎÄڵĹۿ´Á¿Í»È»Ôö¼Ó£¬¿ÉÒÔÁ¢¼´µ÷ÕûÍÆ¼öËã·¨£¬½«ÕâÀàÊÓÆµÍÆË͸ø¸ü¶àÓû§£¬´Ó?¶ø½øÒ»²½ÌáÉýÓû§µÄÂúÒâ¶È¡£

ʵʱ¼ÆËã¿ÉÒÔΪÄÚÈÝÍÆ¼öÌṩ¸ü׼ȷµÄÖ§³Ö?¡£ÔÚ´«Í³µÄÄÚÈÝÍÆ¼öϵͳÖУ¬ÍƼö½á¹ûͨ³£ÊÇ»ùÓÚÓû§µÄÀúÊ·ÐÐΪÊý¾Ý½øÐÐÔ¤²âµÄ¡£Óû§µÄÐËȤºÍÆ«ºÃ»áËæ×Åʱ¼äµÄÍÆÒÆ¶ø·¢Éú±ä»¯£¬Òò´Ë£¬»ùÓÚÀúÊ·Êý¾ÝµÄÍÆ¼ö¿ÉÄÜÎÞ·¨ÍêÈ«·´Ó³µ±Ç°µÄÓû§ÐèÇó¡£Í¨¹ýʵʱ¼ÆË㣬¿ÉÒÔ¸ù¾ÝÓû§µÄ×îÐÂÐÐΪÊý¾Ý½øÐÐÍÆ¼ö£¬´Ó¶øÌṩ¸ü¼Ó¸öÐÔ»¯ºÍ¾«×¼µÄÄÚÈÝ¡£

Êý¾Ý¶´²ìÊÇSparkʵ¼ùµÄºËÐÄ¡£Í¨¹ý¶ÔÓû§ÐÐΪÊý¾Ý½øÐÐÉî¶ÈÍÚ¾ò£¬¿ÉÒÔ·¢ÏÖÐí¶àÓмÛÖµµÄÐÅÏ¢¡£ÀýÈ磬ͨ¹ý·ÖÎöÓû§ÔÚ²»Í¬Ê±¼ä¶ÎµÄ¹Û¿´Ï°¹ß£¬¿ÉÒÔÈ·¶¨¸ß·åʱ¶ÎºÍµÍ¹Èʱ¶Î£¬´Ó¶øÓÅ»¯ÄÚÈݵÄÍÆËͲßÂÔ¡£Í¨¹ý¶ÔÓû§µÄµãÔÞ¡¢ÆÀÂۺͷÖÏíÐÐΪ½øÐзÖÎö£¬¿ÉÒÔÁ˽âÓû§¶Ô²»Í¬ÀàÐÍÄÚÈÝµÄÆ«ºÃ£¬´Ó¶øÎªÄÚÈÝ´´×÷Ìṩ·½ÏòÖ¸µ¼?¡£

ͨ¹ýÓû§ÐÐΪÊý¾ÝµÄ¾ÛÀà·ÖÎö£¬¿ÉÒÔʶ±ð³ö²»Í¬ÀàÐ͵ÄÓû§ÈºÌ壬Ϊ¾«×¼ÓªÏúºÍ¸öÐÔ»¯ÍƼöÌṩ»ù´¡¡£

Óû§ÐÐΪ·ÖÎöÊÇʵÏÖÊý¾Ý¶´²ìµÄ¹Ø¼ü¡£Í¨¹ý¶ÔÓû§µÄ¹Û¿´¡¢µãÔÞ¡¢ÆÀÂÛ¡¢·ÖÏíµÈÐÐΪÊý¾Ý½øÐзÖÎö£¬¿ÉÒÔ½ÒʾÓû§ÔÚÊÓÆµÍøÕ¾Ð¡À¶ÄñÉϵÄÐÐΪģʽ¡£ÀýÈ磬ͨ¹ý·ÖÎöÓû§ÔÚ¹Û¿´ÊÓÆµÊ±µÄÍ£Áôʱ¼ä¡¢Ìø³öÂʵÈÖ¸±ê£¬¿ÉÒÔÆÀ¹ÀÊÓÆµÄÚÈݵÄÎüÒýÁ¦ºÍÓû§ÂúÒâ¶È¡£Í¨¹ý¶ÔÓû§ÔÚ²»Í¬É豸ÉϵķÃÎÊÐÐΪ½øÐзÖÎö£¬¿ÉÒÔÁ˽âÓû§ÔÚ²»Í¬³¡¾°ÏµÄ?Æ«ºÃ£¬´Ó¶øÓÅ»¯ÍøÕ¾µÄÉ豸ÊÊÅäºÍÓû§ÌåÑé¡£

ͨ¹ý¶ÔÓû§µÄÀúÊ·ÐÐΪÊý¾Ý½øÐÐÔ¤²â·ÖÎö£¬¿ÉÒÔÌáǰʶ±ð³ö¿ÉÄÜÁ÷ʧµÄÓû§£¬²¢²É?È¡ÏàÓ¦µÄÁô´æ?²ßÂÔ¡£

ÒýÑÔ£ºÎªÊ²Ã´ÖйúSparkʵ¼ùÍøÕ¾ÊÓÆµÈç´ËÖØÒª£¿

ÔÚµ±Ç°¿ìËÙ·¢Õ¹µÄ¿Æ¼¼Ê±´ú£¬±à³ÌÒѾ­³ÉΪÁËÒ»¸ö²»¿ÉºöÊӵļ¼ÄÜ¡£¶ÔÓÚ±à³ÌÐÂÐãÀ´Ëµ£¬ÈçºÎ¿ìËÙÕÆÎÕ±à³Ì¼¼ÄÜ£¬²¢½«ÆäÓ¦Óõ½Êµ¼ÊÏîÄ¿ÖУ¬ÊÇÒ»¸ö¹Ø¼üÎÊÌâ¡£¶ø¡°ÖйúSparkʵ¼ùÍøÕ¾ÊÓÆµ¡±Ç¡ºÃÌṩÁËÕâÑùÒ»ÖÖ»ú»á£¬Ëü²»½ö»ã¼¯ÁË×îÇ°ÑØµÄ±à³Ì¼¼Êõ£¬»¹Í¨¹ýÏêϸµÄÊÓÆµ½Ì³Ì£¬Èñà³Ìѧϰ±äµÃ¸ü¼Ó¼òµ¥ºÍÓÐȤ¡£

ʵʱ¼ÆËã¿ÉÒÔΪÓû§Áô´æºÍ»îÔ¾¶ÈÌáÉýÌṩÓÐЧ֧³Ö¡£Í¨¹ý¶ÔÓû§ÔÚÍøÕ¾ÉϵÄʵʱÐÐΪÊý¾Ý½øÐзÖÎö£¬¿ÉÒÔ¼°Ê±Ê¶±ð³ö¿ÉÄÜÁ÷ʧµÄÓû§£¬²¢²ÉÈ¡ÏàÓ¦µÄÁô´æ²ß?ÂÔ¡£ÀýÈ磬µ±ÏµÍ³¼ì²âµ½Óû§ÔÚÒ»¶Îʱ¼äÄڵĻîÔ¾¶ÈÃ÷ÏÔϽµ£¬¿ÉÒÔͨ¹ý¸öÐÔ»¯ÍƼö¡¢ÓŻݻµÈ·½Ê½ÎüÒýÓû§ÖØÐ»طã¬Ìá¸ßÓû§µÄ»îÔ¾¶ÈºÍÁô´æÂÊ¡£

ʵʱ¼ÆË㻹¿ÉÒÔ°ïÖúÊÓÆµÍøÕ¾Ð¡À¶Äñ¸üºÃµØ¹ÜÀíºÍÓÅ»¯ÍøÕ¾×ÊÔ´¡£Í¨¹ý¶ÔÓû§ÔÚÍøÕ¾ÉϵÄʵʱÐÐΪÊý¾Ý½øÐзÖÎö£¬¿ÉÒÔʶ±ð³öÓû§ÔÚ²»Í¬Ê±¼ä¶ÎºÍÉ豸ÉÏµÄÆ«ºÃ£¬²¢¸ù¾ÝÕâЩÐÅÏ¢ÓÅ»¯ÍøÕ¾µÄ?×ÊÔ´·ÖÅäºÍչʾ·½Ê½¡£ÀýÈ磬µ±ÏµÍ³¼ì²âµ½Ä³¸öʱ¼ä¶ÎÄڵķÃÎÊÁ¿Í»È»¼¤Ôö£¬¿ÉÒÔÁ¢¼´Æô¶¯Á÷Á¿¹ÜÀí²ß?ÂÔ£¬·ÀÖ¹·þÎñÆ÷¹ýÔØ£¬±£ÕÏÍøÕ¾µÄÕý³£ÔËÐС£

ͨ¹ý¶ÔÓû§ÔÚ²»Í¬É豸ÉϵÄÐÐΪÊý¾Ý½øÐзÖÎö£¬¿ÉÒÔÓÅ»¯ÍøÕ¾µÄÉ豸ÊÊÅäºÍÓû§ÌåÑ飬Ìá¸ßÓû§µÄ²ÎÓë¶ÈºÍÂúÒâ¶È¡£

У¶Ô£ºÌÆÍñ(1C0m4pJyqZtPma0S7t9ZFfz4hTykKag)

ÔðÈα༭£º ÂÞ²®ÌØ¡¤Îâ
ΪÄãÍÆ¼ö
Óû§ÆÀÂÛ
µÇ¼ºó¿ÉÒÔ·¢ÑÔ
ÍøÓÑÆÀÂÛ½ö¹©Æä±í´ï¸öÈË¿´·¨£¬²¢²»±íÃ÷֤ȯʱ±¨Á¢³¡
ÔÝÎÞÆÀÂÛ