關鍵學習資源

DLAI - Knowledge Graphs for RAG

LLM前，Neo4j的用途

• https://www.webcomm.com.tw/blog/neo4j/
• 主要用途在於人脈搜尋、相似商品推薦這些種關聯的場景。這種場景如果你用關聯式資料庫，存起來有點費空間，而且查出來也不一定好。如果每筆關係都要存，那空間用量會很大，查詢速度也會很慢，要一直join。不如就用graph databse，在linked list間找關係。

LLM後，用於RAG的Neo4j (with LangChain)

• 無關聯 (nodes only)
  • 只要能embedding，就能做RAG，所以Neo4j即便至拿出node的資料，也是可以做RAG的。
• 有關聯 (nodes + relationships)
  • Lesson 5: Adding Relationships to the SEC Knowledge Graph
    • 如果文件很大要切chunk，用graph database去存就可以寄存到chunk資料，也可以存到chunck間的關係 (parent-child)。這樣拿來做搜尋引擎就很方便，除了檢索到文件本身的特定段落，整份文件中該節點相鄰的chunk也能靠graph關聯拿出來
    • 範例程式碼 (windowless_chainvs.chain_window)：
    • 說明：
  • Lesson 6: Expanding the SEC Knowledge Graph
    • 當然，如果是找關係網，課程也有給實際例子。這裡用SEC的兩份文件，Form 10-K和Form 13。Form 13記錄了資產管理公司的持股及投資，Form 10-K紀錄了單一公司的詳細資料。所以我們先用Form 13建立關係網，再用Form 10-K填上關係網中各節點的資料。
    • 範例程式碼(plain_chain vs. investment_chain)：
    • Q：In a single sentence, tell me about Netapp investors.
      • plain_chain (沒有investors的資料，所以答得很含糊)
      • investment_chain (透過關聯獲得investors資料，所以可以答得很具體)
  • Lesson 7: Chatting with the SEC Knowledge Graph

    • 實際建立知識圖譜的步驟

      1. Form 10-k 文件
      2. 切割成chunk，一個chunk建一個節點
      3. embedding所有節點
      4. 節點間建立connection

    • 如果你今天有一個想問公司地址的需求，你可以再透過附加address資訊的connection到company上達成。其他各種知識點也一樣，都可以不斷加上去。如果你今天硬要用關聯資料庫存，那你可能加一個資訊就要改DB開欄位，用graph資料庫就不用，只要在資料面見關聯即可。

    • 範例程式碼

    • 看起來這裡用到的”GraphCypherQAChain”是一個封裝好的tool chain，會負責調kg.query來查graph database，所以你只要prompt有寫好match語法即可，如以下這段：

        CALL db.index.fulltext.queryNodes(
               "fullTextCompanyNames", 
               "Palo Alto Networks"
               ) YIELD node, score
        WITH node as com
        MATCH (com)-[:FILED]->(f:Form),
          (f)-[s:SECTION]->(c:Chunk)
        WHERE s.f10kItem = "item1"
      RETURN c.text