SRE.        
 


 IT   ,       , ,    .            ,    -  .      .





 

SRE.        





 


          .

, !     .      IT,    ,      ,  -,       .            .

       -,          :  -  ,      ,       .    IT-      .             , ,  .

 2015              :         ,       .    :    .       Site Reliability Engineering,       ,              .

    :

  

       

  

       

 IT     ,    20    :     ,  , serverless, zero-code, ML,       ,        ,  , -  ,       .

       ,        .     ,      -  .   ,   IT-  ,     .

     ,      -  .       .            .

           "-"  .

   .  !




1.         -    


   -    -  : "   ,      ,    ".       -  - ,     ,       ,          ,   - .       ,   " "  .   .     ,         ,      .

:     ,       ,            .    ,      .




2. -       


             ,   ,     .     :      ,        ,    .

  .        : --.  - ,   .         ,     .

-       .      ,   ()       .   .           : ,    ,        .




3.       ,     


   ,      .    ,       .

-       ,  -           .           .     .    ,          "  ".        ,  ,     ,     .    ,  .

 :      "    ",     , ,      .




4.       


         ,    .  ,  ,    ,          .

    ,       .    .    ,               .

,         "  "   ,   :     ,               .




5.    


         ().   ,         .                .

                .   ,      .     ,      . ,    ,      ,       .

    ,    ,   .            .




6.        


             ,     .

         ,       .      ,          ",      ".      .         ,  ,          .    ,      .

        .    ,   ,             .  -   -     

    :                     .  ,    ,   ,          ,         .        50%,      .

   :

     ,      

     ,    

    ,      

       




7.     


    SRE    ,             .

    :

     - 

    

  

      

   

  



  ,   .



 :    ,    .     ,    .    ,     .          :   ,   ,   ,    .



     !         ,             .



       :

     ,       .

  :               .

  

      

  

    .



 ,           .

           ,       ,        .



:                       .      ,       ,   :

     

     

  

     

    ,    






8. 


            .    .

      :     .   :    .

 ,     -   - ,       ,      .    ,     -   ,    .      ,       .



   .     .



        ,                 .



    :

   ,   

  :     , ,      

  ,  ,              

 :       ,     ,      

 :      ,  ,   ,    -    ,       








9. failover 


     -    "   ",      .         ,         .   ,        ,   ,     . -,   - ,  -   .

         .



:         ,   ,         .

       ,       ,    ,     .        .








10.   


 ,      / -,     ,          .  ,       .



     :

  

   

 

   

  

 

    .



     :   .      ,  ,  ,     .     ,      ,     .

     :     .     .



   

    ,   .      ,          ,         .                .

 ,            ,  -      ,      .     .



  

      ,      :           ,        ..       ,       .

 :      (    , ),            ,        .        ,      ,   -,  .



 ,     ,        ,      :   =  .   =  .         ,     DNS,    SSL-    ,          ,         .           .



  :         ,      ,      .     ,   .






11.   min/max


 ,    /  /  (    ),    .      : ,   .  ,    .   ,   :    ,      .

       ,      .        .        ,        .    .

              ,   95, 99     .

,            ,   :       .     :  ?



 ,       :

  :   ,    

      

,       

     




12.       


 IT   .  ,    .         ,      .         :        ?

   ,    -,      : ",       ---,      !"

   .   ,     .        .         .       ,       .



     ,    :

          ,     ,       ,    ,   ,       .

    ,       ,        ,          .

             ,       .



   :      .



:     ,        . ,     ,            .




13.     


  ,      . ,       ,      .   =  .  -       ,        ,     .          .     :      ,              .              .

 ,                -         ,       . ,          ,             .   ,     ,       .        Ddos-.



        ,        .            .



  :   .



   :

          ,   .

     .

   ,          .

          ,      .

      .



:         .           (    ).        .




14.Exponential backoff


 ()   ,        ,       ,       ,        .

    - ,       ,        ,    .     ,       ,   - . , 500  503,  -     5.



     :

     "- "

   

  

    



     ?         ,      .           .  exponential backoff ( )    ,    .  ,      ,             .



             ,  ,   ,              ?    ,          .




15.  


   .  ,   -   !     ,   ,   .          ,     .  -         ,        .   ,    - ,     .   ,       .



       ,    .    ,      ,   ,       .



           :   .         .

    .    ,      ,       ( ,     ).          .

   .       .   ,        .    ,        .



,    .   .      .    :    !

    "  ",  " ,    ".



    :

       ,         

         ,       

          ,    



   -  ,      ,        - .   ,   ,     .



:           .    .      ,    . -    ,       ,  ,         .




16.  


    .      - ,       ,   :  ,    - ,   .       -    .       "      ",       "-5    ".   ,    .



        :   ,          ,   .



        -.




17. Fallback  " "


   ,     ,  ,   ,      ,      .   !

         (fallback).     "502: Bad Gateway" (      )  ,   .

 -        ,     ,    ,     .     -.



    :

   ,       "    "

  -,           -   javascript

   "",         

       ,      , :  ,      ,     



!     ,       .    ,        .        ,     ,     ,     , , -   .  !








18.   


         ! ,   ,        ,      ,            .

       ,          .



,       ,     ,   .          .         ,    ,     .  ,  !          ,       ,   ?



  ,                   ( ).       ,      (  ).    :     ,    .       ,   - ,    (   ),   - ,    .                ,           .



,      ,      ,    ,       .






19.   


,     ,   ,        .  !

           ,       ,     !

-         (  ).                   .

      ()     .

         . ,     ,          .     



            :          .   " ".             .   , , ,    .

     ,         .




20.   


     ,    .  , ,   -  ,              .

      ,     . ,   .   ,   ,    .         .

        ,         ,   - .             .

,              . ,                 ().   ,         ,      ,    .    ,         ,   ,            ?



          ,     :   ,    ,  



  ,         ,  .   .       ,      .  -       ,         .




21.  


  ,     .      ,      ,       ,       .   ,   ,      .            ,   ,        ,       ,     .



        ,        ,    ,         .       ,   ,   ,     ꔅ   .

  ,    ,  .




22. 


  -  ,  ,         ,      .

 ,            .  -       .         .       ,  ,        .

       ,      ,   ,     ,       ,    .     ,            .




23.  


         ,      .   -    : "            ".      . ( ,       ,    ).

       ,      .



   , :

  

  ""

    

 

 , ,    

    



     ,     - ,  ,    ,    .

,      ,    .




24.     DDoS     


DDoS      ,   .      .      DDoS     ip       .    - ,   User-Agent         .        ,    .



 ,     ,    ,         . DDoS   ,    , ,    ,        ,       , -,  " "     .      ,          ,            -     .   ,            ,    .  ""     .




25.       


  DBA  "      ".    :  -    ,               .         ,       . ,   ,       .




26.   


      ,     .       -   ,          " ".          ,   ?   ,   ,          ,      . ,    .



,   ,     ,  .  ?  ,  .    ,  ,       ,     .



:  .   - /,    ,    (    ,     ).        .  ?       ,   .




27.  post-mortem


      -  ,  " ",   ,    .    ,              !        ,       .

     -   .             .   ,        .

 , , ,    ,   .       ,            .

    ,        .




28.   


               ,            .             ,             .             ,        .                   (  , ).

   :            ,           .




29.   


     .    ,  ,      ,      .

  -      .      ?

     :        .        .         ,   ,    ,      .

    ,   -  ,       .



   :

  ,    .     .

    .      - ,   .

      .       .

 -   .



 ,  ,          -     .   :            ,     .   ,    .

      DDoS?  ,          .



:    .         :        ,    .        .




30.   


  .

       :

   

 

   



  " "    :    ,   -  - ,   . ,      ,       .   -             .

         ,          .           -,      .

    ,         ,         .




31.  


   ,      ,     .

          .  ,       ,    .

  ,     ,    .        ,   ,      ,     ,        ,     ?

              ,   ,   -      .

        ,     .       "    ".




32.    


   -   00:00         ,   .    ,    while (n < m)     ,        .          ,      .  ,  ,   .   ,     00:00   ,    ,    ,        .        ;  ,                 . .  ,    ,                 .  ,           ,     ,      .

   :        json,       .

   :            ,             .

   :           ,        ,      .

 :   ,     ,     .

:     .   ,     .   ,      ,      ,   .



      :

,      

 ,     ( ,   )

  ,  Ansible

   ,     ,     

  ,      ,    

   ,      .




33.  


     .

 ,      - . , ,    ,     - .

  ,     - .    ,     ,    .         (),     -   ,   ,          .             .



   :    ,      .

      . -,       ,      .         . -,     ,     .

-,           , -         .



 ,            UI,      cpu,    16 cpu.             16 cpu,                       ,     ,    16 cpu       .



   :      1 cpu.         ,   ,           .  ,    1 cpu   ,    16 cpu   :    16  ,    .



 ,        ,          .


