Changeset 7662:3bbb48c223f3


Ignore:
Timestamp:
11/27/07 23:35:57 (6 years ago)
Author:
Yi Qiang <yqiang@…>
Branch:
default
Message:

pylint cleanups.

Location:
sage/dsage
Files:
17 edited

Legend:

Unmodified
Added
Removed

  • sage/dsage/all.py

    r5209 r7662  
    2121 
    2222import os 
    23 from sage.dsage.dsage import dsage 
    2423from sage.dsage.dist_functions.all import * 
    2524from sage.dsage.misc.constants import DSAGE_DIR 
    … …  
    3130          log_level=0, 
    3231          ssl=True): 
    33       """ 
    34       This object represents a connection to the distributed SAGE server. 
     32    """ 
     33    This object represents a connection to the distributed SAGE server. 
    3534 
    36       Parameters: 
    37       server -- str (Default: 'localhost') 
    38       port -- int (Default: 8081) 
    39       username -- str 
    40       pubkey_file -- str (Default: ~/.sage/dsage/dsage_key.pub) 
    41       privkey_file -- str (Default: ~/.sage/dsage/dsage_key) 
    42       log_level -- int (Default: 0) 
    43       ssl -- int (Default: 1) 
     35    Parameters: 
     36    server -- str (Default: 'localhost') 
     37    port -- int (Default: 8081) 
     38    username -- str 
     39    pubkey_file -- str (Default: ~/.sage/dsage/dsage_key.pub) 
     40    privkey_file -- str (Default: ~/.sage/dsage/dsage_key) 
     41    log_level -- int (Default: 0) 
     42    ssl -- int (Default: 1) 
    4443 
    45       """ 
     44    """ 
    4645       
    47       from sage.dsage.interface.dsage_interface import BlockingDSage 
    48       return BlockingDSage(server=server, port=port,  
    49                            username=username, 
    50                            pubkey_file=pubkey_file,  
    51                            privkey_file=privkey_file, 
    52                            ssl=ssl) 
     46    from sage.dsage.interface.dsage_interface import BlockingDSage 
     47    return BlockingDSage(server=server, port=port, username=username, 
     48                         pubkey_file=pubkey_file, privkey_file=privkey_file, 
     49                         log_leve=log_level, ssl=ssl) 
    5350 

  • sage/dsage/database/clientdb.py

    r4644 r7662  
    5959         
    6060        self.tablename = self.TABLENAME 
     61        self.log_level = log_level 
     62        self.log_file=log_file 
     63         
    6164        if test: 
    6265            self.db_file = 'clientdb_test.db' 
    … …  
    6467            self.db_file = db_file 
    6568            if not os.path.exists(self.db_file): 
    66                 dir, file = os.path.split(self.db_file) 
    67                 if not os.path.isdir(dir): 
    68                     os.mkdir(dir) 
     69                dir_, file_ = os.path.split(self.db_file) 
     70                if not os.path.isdir(dir_): 
     71                    os.mkdir(dir_) 
    6972        self.con = sqlite3.connect(self.db_file, 
    7073                isolation_level=None, 

  • sage/dsage/database/job.py

    r6739 r7662  
    157157     
    158158    def get_data(self): 
    159        return self.jdict['data'] 
     159        return self.jdict['data'] 
    160160    def set_data(self, value): 
    161        self.jdict['data'] = value 
     161        self.jdict['data'] = value 
    162162    data = property(fget=get_data, fset=set_data, fdel=None, 
    163163                    doc='Job data') 

  • sage/dsage/database/jobdb.py

    r7307 r7662  
    2525 
    2626from twisted.python import log 
    27 from twisted.enterprise import adbapi  
    28  
    29 from BTrees import OOBTree 
    30 import transaction 
    31  
    32 from sage.dsage.database.job import Job 
     27 
    3328import sage.dsage.database.sql_functions as sql_functions 
    3429from sage.dsage.misc.constants import DSAGE_DIR 
    … …  
    5752            self.db_file = db_file 
    5853            if not os.path.exists(self.db_file): 
    59                 dir, file = os.path.split(self.db_file) 
    60                 if dir == '': 
    61                   pass   
    62                 elif not os.path.isdir(dir): 
    63                     os.mkdir(dir) 
     54                dir_, file_ = os.path.split(self.db_file) 
     55                if dir_ == '': 
     56                    pass   
     57                elif not os.path.isdir(dir_): 
     58                    os.mkdir(dir_) 
    6459            self.job_failure_threshold = job_failure_threshold 
    6560            self.log_file = log_file 
    … …  
    274269                v = str(v) 
    275270            try: 
    276                 sql_functions.update_value(self.con, 'jobs', 'job_id', job_id, k, v)    
     271                sql_functions.update_value(self.con, 'jobs', 'job_id',  
     272                                           job_id, k, v)    
    277273            except (sqlite3.InterfaceError,  
    278274                    sqlite3.OperationalError, 
    … …  
    313309        try: 
    314310            jdict['data'] = str(jdict['data']) 
    315         except Exception, msg: 
     311        except KeyError, msg: 
    316312            pass 
    317313        try: 
    318314            jdict['result'] = str(jdict['result']) 
    319         except Exception, msg: 
     315        except KeyError, msg: 
    320316            pass 
    321317             
    … …  
    381377        """ 
    382378 
    383         return sql_functions.update_value(self.con, 'jobs', 'job_id', job_id, 'killed', killed) 
     379        return sql_functions.update_value(self.con, 'jobs', 'job_id',  
     380                                          job_id, 'killed', killed) 
    384381     
    385382    def get_active_jobs(self): 

  • sage/dsage/database/monitordb.py

    r7660 r7662  
    6767            self.log_level = log_level 
    6868            if not os.path.exists(self.db_file): 
    69                 dir, file = os.path.split(self.db_file) 
    70                 if not os.path.isdir(dir): 
    71                     os.mkdir(dir) 
     69                dir_, file_ = os.path.split(self.db_file) 
     70                if not os.path.isdir(dir_): 
     71                    os.mkdir(dir_) 
    7272        self.con = sqlite3.connect(self.db_file, 
    7373                isolation_level=None, 
    … …  
    115115        workers = host_info['workers'] 
    116116        sage_version = host_info['sage_version'] 
    117         os = host_info['os'] 
     117        os_ = host_info['os'] 
    118118        kernel_version = host_info['kernel_version'] 
    119119        cpus = host_info['cpus'] 
    … …  
    124124         
    125125        cur = self.con.cursor() 
    126         cur.execute(query, (uuid, hostname, ip, workers, sage_version, os,  
     126        cur.execute(query, (uuid, hostname, ip, workers, sage_version, os_,  
    127127                            kernel_version, cpus, cpu_speed, cpu_model, 
    128128                            mem_total, mem_free)) 
    … …  
    142142        workers = host_info['workers'] 
    143143        sage_version = host_info['sage_version'] 
    144         os = host_info['os'] 
     144        os_ = host_info['os'] 
    145145        kernel_version = host_info['kernel_version'] 
    146146        cpus = host_info['cpus'] 
    … …  
    151151 
    152152        cur = self.con.cursor() 
    153         cur.execute(query, (hostname, ip, workers, sage_version, os,  
     153        cur.execute(query, (hostname, ip, workers, sage_version, os_,  
    154154                            kernel_version, cpus, cpu_speed, cpu_model, 
    155155                            mem_total, mem_free, uuid)) 
    … …  
    261261                     
    262262        if connected and not busy: 
    263             query = """SELECT workers FROM monitors WHERE connected AND NOT busy""" 
     263            query = """ 
     264            SELECT workers FROM monitors WHERE connected AND NOT busy 
     265            """ 
    264266        elif connected and busy: 
    265             query = """SELECT workers FROM monitors WHERE connected AND busy""" 
     267            query = """ 
     268            SELECT workers FROM monitors WHERE connected AND busy 
     269            """ 
    266270        elif not connected and not busy: 
    267             query = """SELECT workers FROM monitors WHERE NOT connected AND NOT busy""" 
     271            query = """ 
     272            SELECT workers FROM monitors WHERE NOT connected AND NOT busy 
     273            """ 
    268274        elif not connected and busy: 
    269             query = """SELECT workers FROM monitors WHERE NOT connected AND busy""" 
     275            query = """ 
     276            SELECT workers FROM monitors WHERE NOT connected AND busy 
     277            """ 
     278             
    270279        cur = self.con.cursor() 
    271280        cur.execute(query) 

  • sage/dsage/database/sql_functions.py

    r7307 r7662  
    8383    cur = con.cursor() 
    8484    query = "DROP TABLE ?" 
    85     cursor.execute(query, (table,)) 
     85    cur.execute(query, (table,)) 
    8686     
    8787def add_trigger(con, trigger): 

  • sage/dsage/interface/dsage_interface.py

    r7300 r7662  
    8383        self.remoteobj = None 
    8484        self.result = None 
    85          
     85        self.info_str = 'Connected to: %s:%s' 
    8686        # public key authentication information 
    8787        self.pubkey_str = keys.getPublicKeyString(filename=self.pubkey_file) 
    … …  
    115115    def __str__(self): 
    116116        self.check_connected() 
    117         self.info_str = 'Connected to: %s:%s' % (self.server, self.port) 
    118         return self.info_str + '\r' 
     117        return self.info_str % (self.server, self.port) 
    119118 
    120119    def __call__(self, cmd, globals_=None, job_name=None): 
    … …  
    179178        factory = PBClientFactory() 
    180179 
    181         if self.SSL == 1: 
     180        if self.ssl == 1: 
    182181            # Old, uses OpenSSL, SAGE uses GNUTLS now 
    183182            # from twisted.internet import ssl 
    … …  
    278277        return JobWrapper(self.remoteobj, job) 
    279278 
    280     def eval_dir(self, dir, job_name): 
     279    def eval_dir(self, dir_, job_name): 
    281280        from twisted.internet import defer 
    282281        self.check_connected() 
    283         os.chdir(dir) 
     282        os.chdir(dir_) 
    284283        files = glob.glob('*.spyx') 
    285284        deferreds = [] 
    286         for file in files: 
    287             sage_cmd = open(file).readlines() 
     285        for file_ in files: 
     286            sage_cmd = open(file_).readlines() 
    288287            d = self.remoteobj.callRemote('get_next_job_id') 
    289             d.addCallback(self._got_id, sage_cmd, job_name, file=True, 
     288            d.addCallback(self._got_job_id, sage_cmd, job_name, file=True, 
    290289                          type_='spyx')  
    291290            d.addErrback(self._catch_failure) 
    … …  
    744743        from twisted.spread import pb 
    745744        if self.remoteobj == None: 
    746             if self.LOG_LEVEL > 2: 
    747                 print 'self.remoteobj is None' 
     745            # if self.LOG_LEVEL > 2: 
     746            #     print 'self.remoteobj is None' 
    748747            return 
    749748        if self.status == 'completed': 
    750             if self.LOG_LEVEL > 2: 
    751                 print 'Stopping sync_job' 
     749            # if self.LOG_LEVEL > 2: 
     750            #     print 'Stopping sync_job' 
    752751            if self.sync_job_task: 
    753752                if self.sync_job_task.running: 
    … …  
    831830         
    832831        if self.remoteobj == None: 
    833            raise NotConnectedException 
     832            raise NotConnectedException 
    834833        if self.status == 'completed': 
    835834            return 

  • sage/dsage/misc/misc.py

    r6801 r7662  
    3232     
    3333    """ 
    34     s = [chr(i) for i in [random.randint(65, 123) for n in range(length)]] 
    3534     
    36     return ''.join(s) 
     35    r_str = [chr(i) for i in [random.randint(65, 123) for n in range(length)]] 
     36     
     37    return ''.join(r_str) 
    3738 
    38 def timedelta_to_seconds(d): 
     39def timedelta_to_seconds(time_delta): 
    3940    """ 
    4041    Converts a timedelta object into seconds. 
    4142     
    4243    """ 
    43     days, seconds, microseconds = (d.days, d.seconds, d.microseconds) 
    4444     
    45     seconds = float(days*24*60*60 + d.seconds + (d.microseconds/10.0**6)) 
     45    days, seconds, microseconds = (time_delta.days,  
     46                                   time_delta.seconds,  
     47                                   time_delta.microseconds) 
     48     
     49    seconds = float(days*24*60*60 + seconds + (microseconds/10.0**6)) 
    4650     
    4751    return seconds 

  • sage/dsage/scripts/dsage_server.py

    r7660 r7662  
    5555     
    5656    # usage options 
    57     usage = ['usage: %prog [options]\n', 
     57    usage_ = ['usage: %prog [options]\n', 
    5858              'Bug reports to <yqiang@gmail.com>'] 
    5959     
    60     parser = OptionParser(usage=''.join(usage)) 
     60    parser = OptionParser(usage=''.join(usage_)) 
    6161     
    6262    parser.add_option('-p', '--port',  
    … …  
    113113                           'started in blocking mode') 
    114114                     
    115     (options, args) = parser.parse_args() 
    116      
    117     return options 
     115    (options_, args) = parser.parse_args() 
     116     
     117    return options_ 
    118118 
    119119def create_manhole(): 
    … …  
    210210                                                COMP_DEFLATE, 
    211211                                                COMP_NULL) 
    212             reactor.listenTLS(SERVER_PORT, client_factory, cred)                     
     212            reactor.listenTLS(SERVER_PORT, client_factory, cred) 
    213213        else: 
    214214            reactor.listenTCP(SERVER_PORT, client_factory) 

  • sage/dsage/scripts/dsage_setup.py

    r7657 r7662  
    9898    print DELIMITER 
    9999    print "Generating public/private key pair for authentication..." 
    100     print "Your key will be stored in %s/dsage_key"%DSAGE_DIR 
     100    print "Your key will be stored in %s/dsage_key" % DSAGE_DIR 
    101101    print "Just hit enter when prompted for a passphrase" 
    102102    print DELIMITER 
    … …  
    120120    check_dsage_dir() 
    121121    print "Choose a domain name for your SAGE notebook server," 
    122     print "for example, localhost (personal use) or %s (to allow outside connections)."%socket.getfqdn() 
     122    print "for example, localhost (personal use) or %s (to allow outside connections)." % socket.getfqdn() 
    123123    dn = raw_input("Domain name [localhost]: ").strip() 
    124124    if dn == '': 
    … …  
    126126        dn = 'localhost' 
    127127     
    128     template_dict = {'organization': 'SAGE (at %s)'%(dn), 
     128    template_dict = {'organization': 'SAGE (at %s)' % (dn), 
    129129                'unit': '389', 
    130130                'locality': None, 
    … …  
    157157            w = '' 
    158158        elif isinstance(val, list): 
    159             w = ' '.join(['"%s"'%x for x in val]) 
     159            w = ' '.join(['"%s"' % x for x in val]) 
    160160        else: 
    161             w = '"%s"'%val 
    162         s += '%s = %s \n'%(key, w)  
     161            w = '"%s"' % val 
     162        s += '%s = %s \n' % (key, w)  
    163163     
    164164    template_file = os.path.join(DSAGE_DIR, 'cert.cfg') 

  • sage/dsage/scripts/dsage_worker.py

    r7660 r7662  
    357357            done, new = self.sage._get() 
    358358            # If result.sobj exists, our calculation is done 
    359             result = open('result.sobj', 'rb').read()                                                
     359            result = open('result.sobj', 'rb').read() 
    360360            done = True 
    361361        except RuntimeError, msg: # Error in calling worker.sage._so_far() 
    … …  
    370370            done = False 
    371371        if done: 
    372                         try: 
    373                                 cpu_time = cPickle.loads(open('cpu_time.sobj', 'rb').read()) 
    374                         except IOError: 
    375                                 cpu_time = -1 # This means that we could not get a cpu_time. 
    376                         self.free = True 
    377                         self.reset_checker() 
     372            try: 
     373                cpu_time = cPickle.loads(open('cpu_time.sobj', 'rb').read()) 
     374            except IOError: 
     375                cpu_time = -1 # This means that we could not get a cpu_time. 
     376            self.free = True 
     377            self.reset_checker() 
    378378        else: 
    379379            result = cPickle.dumps('Job not done yet.', 2) 
    … …  
    640640            self.DATA =  random_str(500) 
    641641            # public key authentication information 
    642             self.pubkey_str =keys.getPublicKeyString(self.pubkey_file) 
     642            self.pubkey_str = keys.getPublicKeyString(self.pubkey_file) 
    643643            # try getting the private key object without a passphrase first 
    644644            try: 

  • sage/dsage/server/server.py

    r7660 r7662  
    2020import cPickle 
    2121import datetime 
    22 import xml.dom.minidom 
    23 import cStringIO 
    2422 
    2523from twisted.spread import pb 
    … …  
    5250        self.monitordb = monitordb 
    5351        self.clientdb = clientdb 
    54         self.LOG_LEVEL = log_level 
     52        self.log_level = log_level 
    5553 
    5654    def register_client_factory(self, client_factory): 
    … …  
    7472            jdict = self.jobdb.get_job(anonymous=False) 
    7573        if jdict == None: 
    76             if self.LOG_LEVEL > 3: 
     74            if self.log_level > 3: 
    7775                log.msg('[DSage, get_job]' + ' Job db is empty.') 
    7876            return None 
    7977        else: 
    8078            job_id = jdict['job_id'] 
    81             if self.LOG_LEVEL > 3: 
     79            if self.log_level > 3: 
    8280                log.msg('[DSage, get_job]' + ' Sending job %s' % job_id) 
    8381            jdict['status'] = 'processing' 
    … …  
    149147        jobs = self.jobdb.get_jobs_by_username(username, active) 
    150148         
    151         if self.LOG_LEVEL > 3: 
     149        if self.log_level > 3: 
    152150            log.msg(jobs) 
    153151             
    … …  
    163161        """  
    164162         
    165         if self.LOG_LEVEL > 3: 
     163        if self.log_level > 3: 
    166164            log.msg('[DSage, submit_job] %s' % (jdict)) 
    167165        if jdict['code'] is None: 
    … …  
    217215        """ 
    218216         
    219         if self.LOG_LEVEL > 0: 
     217        if self.log_level > 0: 
    220218            log.msg('[DSage, get_next_job_id] Returning next job ID') 
    221219             
    … …  
    235233        """ 
    236234         
    237         if self.LOG_LEVEL > 0: 
     235        if self.log_level > 0: 
    238236            log.msg('[DSage, job_done] %s called back' % (job_id)) 
    239         if self.LOG_LEVEL > 3: 
     237        if self.log_level > 3: 
    240238            log.msg('[DSage, job_done] output: %s ' % output) 
    241239            log.msg('[DSage, job_done] completed: %s ' % completed) 
    … …  
    278276            job.status = 'new' # Put job back in the queue 
    279277         
    280         if self.LOG_LEVEL > 1: 
     278        if self.log_level > 1: 
    281279            s = ['[DSage, job_failed] Job %s failed ' % (job_id), 
    282280                 '%s times. ' % (job.failures)] 
    … …  
    297295         
    298296        """ 
    299  
     297         
    300298        if job_id == None: 
    301             if self.LOG_LEVEL > 0: 
     299            if self.log_level > 0: 
    302300                log.msg('[DSage, kill_job] Invalid job id') 
    303301            return None 
    … …  
    305303            try: 
    306304                self.jobdb.set_killed(job_id, killed=True) 
    307                 if self.LOG_LEVEL > 0: 
     305                if self.log_level > 0: 
    308306                    log.msg('Killed job %s' % (job_id)) 
    309307            except Exception, msg: 

  • sage/dsage/server/stats.py

    r7660 r7662  
    1919from xml.etree.ElementTree import (ElementTree as ET, 
    2020                                   Element, 
    21                                    SubElement, 
    22                                    dump, 
    23                                    XML) 
     21                                   SubElement) 
    2422from cStringIO import StringIO 
    2523                                    

  • sage/dsage/twisted/misc.py

    r3837 r7662  
    1717############################################################################## 
    1818 
    19 import threading, sys 
     19import threading 
    2020 
    2121# This code is from  

  • sage/dsage/twisted/pb.py

    r7641 r7662  
    402402            log.msg('(%s, %s) connected' % (avatarID, kind)) 
    403403     
    404         return pb.IPerspective, avatar, lambda a=avatar:a.detached(avatar, 
    405                                                                    mind) 
     404        return pb.IPerspective, avatar, lambda a = avatar:a.detached(avatar, 
     405                                                                     mind) 

  • sage/dsage/twisted/pubkeyauth.py

    r4933 r7662  
    3737            raise TypeError('Invalid key type.') 
    3838    except IOError, msg: 
    39         key = pubkey_file 
     39        key = filename 
    4040     
    4141    return key 
    … …  
    5656    def requestAvatarId(self, credentials): 
    5757        if IAnonymous.providedBy(credentials): 
    58              return 'Anonymous' 
     58            return 'Anonymous' 
    5959              
    6060        # read the authentication table to make sure we have a fresh copy 

  • sage/dsage/web/web_server.py

    r7660 r7662  
    6666        except AttributeError: # This is a fix for older databases.  
    6767            update_time = "N/A" 
    68         html+=""" 
     68        html += """ 
    6969        <tr class='tr%s' 
    7070        """ % (i % 2) 
    71         html+=""" 
     71        html += """ 
    7272            <td><a href='#%s' onClick="getJobDetails('%s')">%s</a></td> 
    7373            <td>%s</td> 
    … …  
    153153         
    154154        """ 
    155          
    156  
    157         from xml.etree.ElementTree import (ElementTree as ET, 
    158                                            Element, 
    159                                            SubElement, 
    160                                            dump, 
    161                                            XML) 
     155 
    162156        root = Element('jobs')    
    163157              
    … …  
    213207                <td>%s</td> 
    214208                </tr> 
    215                 """ %(k, v) 
     209                """ % (k, v) 
    216210             
    217211            html += """ 
Note: See TracChangeset for help on using the changeset viewer.